Профит-фактор врёт на коротких выборках

Профит-фактор — отношение суммы прибылей к сумме убытков. Больше единицы — система в плюсе. Метрика удобная, читается мгновенно, и именно поэтому ей верят раньше, чем следует.

Почему тридцати сделок мало

Профит-фактор — дробь, и обе её части устроены неприятно. В числителе редкие крупные выигрыши, в знаменателе редкие крупные проигрыши. На короткой истории одна сделка меняет результат до неузнаваемости.

Простой пример. Тридцать сделок, сумма прибылей 210 000, сумма убытков 100 000 — профит-фактор 2.1, отличная система. Теперь уберите один лучший трейд на 90 000: остаётся 120 000 против 100 000, профит-фактор 1.2. Ничего не изменилось в методе, изменилась одна сделка из тридцати.

И наоборот: одна крупная потеря, которой пока не случилось, утащит 2.1 к единице. Вопрос не в том, случится ли она, а в том, входит ли она в вашу выборку.

Сколько нужно

Универсального порога нет — он зависит от того, насколько разбросаны ваши результаты. Практические ориентиры такие:

• До 50 сделок — профит-фактор не метрика, а анекдот. Смотреть можно, опираться нельзя.
• 50–200 — начинает что-то значить, если у вас нет редких крупных выбросов. Если есть — не начинает.
• 200+ — цифре можно верить, но по-прежнему как оценке, а не как константе.

Быстрая проверка на устойчивость: уберите три лучших сделки и посчитайте заново. Если профит-фактор провалился ниже единицы — у вас не система, а несколько удачных дней. Это тридцать секунд работы, и оно честнее любых доверительных интервалов.

Что метрика прячет

Порядок сделок. Профит-фактор одинаков, идут ли убытки вперемешку или подряд. Но десять убытков подряд в середине — это просадка и, как правило, брошенная система, а профит-фактор об этом молчит.

Размер позиции. Метрика считает деньги, а не качество решений. Один крупный удачный вход поднимет её так же, как сотня аккуратных.

Безубыточные сделки. В знаменатель они не попадают, в числитель тоже — и тихо улучшают картину, ничего не заработав.

Что смотреть, пока сделок мало

• Распределение, а не среднее. Гистограмма результатов расскажет больше, чем любая одна цифра.
• Серии. Самая длинная череда убытков в вашей истории — то, что вам придётся высидеть, и обычно она длиннее, чем кажется.
• Перестановки. Прогоните те же сделки в случайном порядке много раз и посмотрите на разброс итогов. Это и есть честный ответ на вопрос «мне повезло или у меня система».
• Соблюдение собственных правил. На малых выборках доля сделок по плану информативнее любой доходности.

В MaxProfit накопительный профит-фактор строится по ходу истории — видно не финальное число, а как оно менялось. Кривая, которая всю дорогу болтается и стабилизируется только к концу, честнее говорит о надёжности, чем итоговая цифра в углу отчёта.