Тики за три года по десяти символам, в чём вы их храните?

Выгрузил тики по десяти парам за 2021-2023, вышло 38 ГБ CSV, pandas ложится уже на одном символе за год. Как вы храните тики?

CSV для тиков худший вариант. Я раскладываю в parquet: один символ, один месяц, один файл. Время храню int64 в миллисекундах, bid и ask не float, а целыми в пунктах, то есть умножаю на 10 в степени digits и кладу в int32. Флаги тоже целым. Сжатие раз в семь-восемь против CSV, месяц читается за пару секунд. И читай только нужные колонки: для спреда нужны время, bid и ask, остальное не грузи.

Если тебе нужно распределение спреда по часам, вообще не держи все тики в памяти. Пройдись по месяцам, для каждого посчитай гистограмму спреда по часу и сложи. А если смотришь поведение цены после резких движений, грузи кусками с запасом на стыках месяцев, иначе потеряешь события на границе.

Я начинал с файлов, потом надоело следить за папками, и переехал в колоночную базу на домашнем сервере. Запрос вида «спред по часам за три года по всем символам» она отдаёт за секунды, склейку месяцев писать не надо. Но это ещё один сервис: обновлять, бэкапить, следить за диском. Если считаешь один и раз в месяц, parquet по месяцам проще и надёжнее. База окупается, когда тики пишутся постоянно и их читают несколько скриптов.