Журнал правок своего советника: записываю каждую и зачем

Заметил за собой, что правлю советник чаще, чем он успевает что-то наторговать, а потом не могу сказать, какая правка что дала. С октября веду журнал: дата, что поменял, почему, прогон до и после на одном и том же периоде (2021-2023, реальные тики) и номер версии, который советник пишет в журнал при старте, чтобы на демо было видно, какая сборка торговала:
Советник на EURUSD и USDJPY, M30, возврат к средней. Демо, лот 0,1.
Октябрь: 9 правок. Перечитал причины и неприятно удивился: шесть из девяти сделаны вечером того дня, когда на демо был минус.

Знакомо. А прогон после правки на том же периоде, на котором ты и искал причину? Тогда каждая правка в тесте будет выглядеть удачной.

Вадик, в этом и дело. Все девять правок на 2021-2023 «улучшали» результат, PF вырос с 1,18 до 1,31. Ещё бы, я каждый раз смотрел на тот же участок.
С ноября правила такие: в день с минусом правок нет, только запись «хотел поменять то-то». Через двое суток, если всё ещё хочется, правлю и проверяю на 2024 годе, который до этого не трогал. За ноябрь желаний было семь, до правки дошли две, одна на 2024 ухудшила результат, откатил.

Интересно сравнить версию 1.0 и последнюю на 2024 годе. Если разница в шуме, то зачем было всё это.

Сравнил. На 2021-2023 версия 1.0 даёт PF 1,18, последняя 1.16 даёт 1,31. На 2024 годе, которого ни одна правка не видела: 1.0 даёт 1,12, последняя 1,07. То есть за два месяца и одиннадцать правок я сделал советник чуть хуже на новых данных и красивее на старых. Демо ничего не говорит: я с ноября держу обе версии параллельно, по 140 сделок, у обеих около нуля.
Вернул 1.0 плюс одну правку, которая прошла проверку на 2024 (это была ошибка в закрытии по времени, а не настройка). Журнал оставляю, он оказался полезнее самих правок: теперь видно, что меня тянет менять советник после убытка, а не после разбора.