Walk-forward-анализ

Простыми словами

Настройте правила на одном отрезке истории, торгуйте их нетронутыми на следующем отрезке, затем сдвиньте оба отрезка и повторите. В цифру, которую вы приводите, идут только нетронутые отрезки.

Почему это важно

Одиночный тест вне выборки отвечает на вопрос один раз. Walk-forward задаёт его на каждом шаге, и это единственный способ увидеть, переживает ли преимущество повторную настройку раз за разом, а не пережило ли оно её однажды по удаче. Заодно он повторяет то, что реально делает запускающий советника: берёт параметры из недавнего прошлого и уводит их в будущее, которого никто не видел.

• ✓Он оценивает процедуру, а не набор настроек. «Перенастроить вот так, затем торговать» — это то, что вы действительно будете делать, поэтому проверять стоит именно это.
• ✓Он возвращает серию результатов вне выборки вместо одного числа, поэтому один льстивый квартал не может в одиночку нести всё утверждение.
• ✓Он вскрывает параметры, которые отказываются стоять на месте. Когда каждая перенастройка приходит в новое место, правила следуют за выборкой, а не за рынком.
• ✓Одно отложенное окно прячет вопрос о рыночном режиме. Два из восьми наших записанных переборов прошли окно после перебора и затем провалили окно перед ним.

Как проверять стратегию с его помощью

Где применяется

• Проверка стратегии, входные параметры которой вы и правда собираетесь перенастраивать по расписанию.
• Выбор интервала повторной оптимизации — как долго один набор параметров остаётся пригодным, прежде чем ему нужно обновление.
• Отделение преимущества, пережившего несколько рыночных режимов, от того, что существовало только в окне, на котором его настраивали.
• Сбор защитимой записи вне выборки, когда история слишком коротка, чтобы отдать один большой отложенный блок.

Бэктест против реальной торговли

• Walk-forward закрывает часть разрыва с реальным счётом, потому что проверяемая процедура и есть та процедура, которую запускают.
• Риск исполнения он не трогает. Проскальзывание, расширение спреда и задержка целиком остаются вне упражнения.
• Он не может выдумать режимы, которых история не содержала, поэтому стратегия, пережившая двадцать перенастроек внутри одного спокойного десятилетия, остаётся непроверенной против напряжённого.
• Ожидайте, что реальные результаты будут ближе к серии вне выборки, чем к показателям на выборке. Цифры на выборке описывают перебор; они не предсказывают ничего.

Рекомендуемый способ проверки

1. 1В MetaTrader 5 нет скользящего walk-forward. Поле «Форвард» (Forward) на вкладке «Настройки» (Settings) тестера стратегий разрезает интервал один раз — 1/2, 1/3, 1/4 или произвольная дата — и оценивает выжившие проходы на хвосте, показывая их на отдельной вкладке Forward Results. Один прогон покупает один шаг.
2. 2Серию собирайте руками: повторяйте оптимизацию по разу на шаг, каждый раз сдвигая диапазон дат на длину шага, и сохраняйте форвардную строку каждого прогона. Двадцать отрезков стоят двадцати прогонов, поэтому число шагов решайте до старта.
3. 3Критерий оптимизации выбирайте до того, как увидите сетку, потому что именно он решает, какой проход MT5 назовёт победителем на каждом шаге. Custom max передаёт это решение вашему OnTester(), когда ни один встроенный критерий не совпадает с тем, как вы судите о прогоне.
4. 4MT5 всегда отрезает форвардный кусок от конца диапазона, поэтому окно непосредственно перед обучающим периодом никогда не проходит проверку. Прогоните его сами: на нашем собственном наборе это поймало две конструкции, которые форвардная проверка уже пропустила.
5. 5Записывайте выигравшие параметры шаг за шагом. Вкладка Forward Results выдаёт вам проход, но никогда не траекторию настроек по шагам, — а находка именно в этой траектории.
6. 6Считайте всё упражнение одним экспериментом. Перезапуск его с новыми длинами окон, пока он не пройдёт, поднимает переподгонку на уровень выше, а не убирает её.

Пример

Один шаг из нашей собственной записанной работы: восемь параметрических переборов в EXP-PARAM-SEARCH-OUTCOMES-001. Шаблон ichimoku перебрал сетку из 12 комбинаций на H1, оставил свой лучший проход на выборке и затем встретил два окна, которых перебор никогда не касался.

65 % попадает в ту полосу, которую большинство отчётов называет сильной. Та же настройка всё равно потеряла деньги на обоих невиданных окнах — поэтому один шаг читается как точка данных и никогда как приговор.

Как это читать

Читайте сначала серию вне выборки, затем отношение, затем устойчивость параметров. Заголовочная прибыль — наименее информативная из этих трёх вещей.

• Считайте отрезки. Четыре отрезка — это байка; двадцать — распределение.
• Стройте график выбранных параметров по шагам. Оптимум, который бродит, сообщает вам, что он шум.
• Никогда не смешивайте кривые капитала на выборке и вне выборки в одну: такая смесь наполовину экзамен, наполовину ответы к нему.
• Проверяйте и окно перед обучающим периодом. Два из восьми наших переборов прошли вперёд и провалились назад.

mt5depot публикует окно данных, модель тестера и число сделок за каждым прогоном, поэтому любое утверждение о результате вне выборки здесь можно сверить с той выборкой, которая его породила.

Частые ошибки

Часто задаваемые вопросы

Как провести walk-forward-анализ в MetaTrader 5?

MT5 даёт вам детали, но не сам цикл. Поставьте «Форвард» (Forward) на вкладке «Настройки» (Settings) тестера стратегий в 1/2, 1/3 или 1/4: тестер оптимизирует переднюю часть вашего диапазона дат и оценивает выжившие проходы на хвосте, перечисляя их на собственной вкладке Forward Results. Это один шаг. Ради серии сдвиньте весь диапазон дат вперёд на длину шага и запустите оптимизацию снова, по разу на отрезок, записывая каждый раз форвардную строку и выигравшие параметры. Двадцать отрезков означают двадцать прогонов.

Какими должны быть длины окон на выборке и вне выборки?

Достаточными, чтобы обучающее окно содержало больше одного рыночного режима, а тестовое окно — достаточно сделок, чтобы хоть что-то значить. Встроенные отношения тестера 1/2, 1/3 и 1/4 — разумные отправные точки, а произвольная форвардная дата даёт более короткий тестовый кусок, когда шаг мал. Правило важнее чисел: выберите отношение до первого прогона, потому что перебрать несколько и опубликовать лучшее — это повторить ровно ту ошибку, ради поимки которой walk-forward и существует.

Устраняет ли walk-forward-анализ переподгонку?

Нет. Он переселяет её и делает видимой. Повторная настройка по-прежнему происходит внутри каждого обучающего окна, поэтому метод измеряет, какая часть этой подгонки переживает встречу со следующим окном, вместо того чтобы её предотвращать. Наши собственные восемь записанных переборов прогнали 116 комбинаций параметров и не приняли ни одной: два из них прошли окно после перебора и затем провалили окно перед ним — ровно тот случай, который одиночное отложенное окно прячет.

Какую эффективность вне выборки считать хорошей?

Примерно от 40 % до 60 % — обычное дело, стоит сдвинуться горстке параметров, а цифры выше 60 %, удержанные на большинстве шагов при устойчивых параметрах, считаются сильными. К любому одиночному шагу относитесь с подозрением: наш лучше всех подогнавшийся перебор показал 65 % на одном шаге, и выбранная им настройка всё равно потеряла деньги на обоих окнах, которых она не видела. Цифра около 100 % или выше чаще сигнализирует об утечке между обучающим и тестовым окнами, чем о необычайно устойчивой стратегии.

Какой критерий оптимизации должен ранжировать проходы?

Решайте до того, как появится сетка, потому что критерий — целевая функция в широкой литературе — выбирает выигравший проход на каждом шаге. Ранжирование по балансу награждает тот проход, который взял больше всего риска, ранжирование по просадке — тот, который торговал меньше всех, а Custom max отдаёт решение вашему собственному OnTester(), когда не подходит ни то ни другое. В наших записанных переборах ранжирование тестера само по себе ничего не решало: каждый выживший проход затем должен был удержать профит-фактор выше 1,0 на трёх окнах, и ни один из восьми этого не смог.

Чем walk-forward отличается от одиночного теста вне выборки?

Одиночный тест резервирует один блок данных и один раз проверяет по нему финальные параметры. Walk-forward повторяет цикл «настроить, затем проверить» вдоль всей истории, поэтому он возвращает серию результатов вне выборки и проверяет саму процедуру перенастройки — то, что запускающий советника действительно выполняет месяц за месяцем.

Связанные термины

• Переподгонка Переподгонка — это настройка параметров советника настолько точно под исторические данные, что стратегия отлично выглядит в бэктесте и плохо работает на невиданных данных, поскольку использует шум вместо реальных рыночных закономерностей.
• Бэктест Бэктест — моделирование торговых правил советника на исторических котировках, позволяющее оценить, какой результат стратегия показала бы в прошлом.
• Качество моделирования Процент, который тестер стратегий MT5 печатает для того, насколько полно история цен покрыла тестируемое окно, — он выводится и на прогонах со сгенерированными тиками, а не только на реальных.
• Профит-фактор Суммарная валовая прибыль, делённая на суммарный валовой убыток за заданный период. Профит-фактор выше 1,5 указывает на прибыльную стратегию; выше 2,0 — на сильную.
• Фактор восстановления Общая чистая прибыль, делённая на максимальную просадку: показывает, сколько раз стратегия отыграла свой худший убыток. Чем выше, тем лучше.

Связанные материалы

• Как запустить бэктест в MT5 — и какому из двух чисел просадки в отчёте веритьРуководства
• Оптимизация параметров в MT5: 116 комбинаций, 252 прогона, 0 принятых настроекРуководства
• Как собрать советника на MACD в MT5 без программирования — и почему его лучший результат оказался самым опаснымРуководства