Делаю out of sample на последних полутора годах, и вот что смущает. Сначала хотел взять 2019, потом посмотрел на график, решил, что 2019 слишком спокойный и ничего не покажет, и взял 2020 с ковидными месяцами, чтобы проверить на стрессе. Результатов системы при этом не смотрел. Это уже подглядывание или нормальный выбор?
Подглядывание, но мягкое. На результат системы ты не смотрел, только на рынок, это лучше, чем переделка после прогона. Но выбор не нейтральный: ты взял период, про который заранее что-то думаешь. Пройдёт система 2020, скажешь «выдержала стресс», не пройдёт, скажешь «ну это был особый год». Я делаю скучно: out of sample выбирается до любой работы с системой и всегда по одному правилу, например последние 25% истории. А стресс отдельной проверкой с записанным критерием провала.
