AI Backtesting Pitfalls — Step-by-Step Guide & Transcript

[00:03] не знаете, на что обращать внимание. Оно галлюцинирует и совершает ошибки, лишь бы удовлетворить вас и ответить на ваш вопрос. Не поймите меня неправильно, ИИ полностью изменил мой подход к исследованию торговых стратегий. То, на что раньше у меня уходили часы работы с

[00:16] электронными таблицами, дни обработки данных и калькулятор, теперь можно сделать практически за несколько минут. Я могу предоставить ИИ тысячи сделок и спросить: «Каков мой процент выигрышных сделок? Каков мой средний процент выигрышных сделок? Каков мой средний процент проигрышных сделок? Какое

[00:30] время суток показывает наилучшие результаты?» Я даже могу задать ему стратегию, и он напишет необходимый код для её тестирования. Это чертовски невероятно, но есть проблема. Искусственный интеллект может ошибаться, и я говорю не о том, что торговые стратегии могут

[00:42] быть ошибочными. Я говорю о том, что реальный бэктест может быть неверным, потому что ИИ может предоставить вам прекрасно отформатированные таблицы и информацию, процент выигрышей с точностью до двух знаков после запятой, коэффициент прибыли, просадку, математическое ожидание

[00:56] и целое объяснение того, почему ваша стратегия якобы работает, в то время как базовый расчет совершенно неверен. А опасность заключается в том, что это может звучать так же уверенно, когда это неверно, как и когда это верно. Итак, сегодня я

[01:09] хочу показать вам, что я проверяю всякий раз, когда использую ИИ для анализа торговых стратегий, потому что, если вы собираетесь начать использовать ChatGPT, Claude, Grok или любой другой ИИ для тестирования стратегий, вам обязательно нужно

[01:23] понимать эти вещи. И вот, пожалуй, самая простая ошибка, которой следует избегать. Допустим, я набираю текст: «Проведите тестирование пересечения скользящих средних на паре EUR/USD за последние 10 лет и сообщите мне процент успешных сделок». Искусственный интеллект отвечает: «Стратегия обеспечила 57,3%

[01:37] успеха с коэффициентом прибыли 1,42». Это звучит очень специфично, но мой первый эти данные?» Потому что невозможно провести тестирование чего-либо на исторических данных рынка. Если вы сами не загрузили данные , если ИИ не получил

[01:52] данные из надежного источника, и мы не подключились к источнику, содержащему эти данные, то что именно он тестировал на исторических данных? Когда я объясняю это таким образом, это звучит до смешного очевидно, но именно здесь люди попадают в ловушку, потому что

[02:04] цифра вроде 57,3% кажется продуманной. Это точно. Ваш мозг воспринимает точность как доказательство, но точность ничего не значит, если вы не можете объяснить, откуда взялась лежащая в её основе информация. Итак, правило номер

[02:18] один: никогда не доверяйте результатам, пока не поймете, какие данные их привели к их получению. Следующая ошибка — это принятие окончательного результата. Если я загружу 10 000 сделок, и ИИ результата. Если я загружу 10 000 сделок, и ИИ покажет, что ваш процент выигрышных сделок составляет 64%. Прохладный.

[02:31] Не останавливайтесь на этом. Спросите, сколько сделок, сколько выигрышных, сколько проигрышных, сколько безубыточных , какова валовая прибыль, каков валовой убыток, каков средний выигрышный показатель, каков средний проигрышный показатель, каков коэффициент прибыльности, потому что

[02:46] теперь эти цифры нужно сопоставить. Если написано 1000 сделок, 640 выигрышных, 360 написано 1000 сделок, 640 выигрышных, 360 проигрышных, хорошо. 640, разделённое на 1000, равно 64%. Это вы можете проверить самостоятельно. То же самое

[03:00] относится и к фактору прибыли. Отношение валовой прибыли к валовому убытку должно дать коэффициент рентабельности. Ожидания должны соответствовать средним показателям победителей и проигравших, а также вероятностям. По сути, вы заставляете

[03:13] ИИ оставлять за собой след из хлебных крошек, и чем больше этих крошек, тем легче будет обнаружить ошибку, если она будет допущена. Теперь перейдём к следующему заданию, которое, как ни странно, оказалось довольно простым. Представьте, что вы экспортируете свои сделки из MetaTrader. У

[03:26] вас может быть входной ряд и выходной ряд. Искусственный интеллект анализирует 2000 строк и сообщает, что вы совершили 2000 сделок, хотя на самом деле вы совершили 1000 сделок, или, возможно, у вас есть частичное закрытие, несколько позиций, депозит, снятие средств,

[03:41] комиссии, своповые сборы, безубыточные сделки. Внезапно то, что кажется таким простым, как подсчет моего процента побед, уже не кажется таким уж простым. Итак, всякий раз, когда я загружаю данные о торговле, одно из первых, что я хочу, чтобы ИИ объяснил, это что представляет собой

[03:56] одна строка? В таком случае я обычно хочу увидеть несколько примеров. Покажите мне сделку номер один. Вход здесь, выход там, прибыль здесь. Покажите мне сделку номер два, и так далее. И если эти примеры не совпадают с тем, что я вижу вручную, я останавливаюсь,

[04:11] потому что нет абсолютно никаких причин анализировать еще 10 000 строк, если мы уже неправильно интерпретируем первую и вторую строки. А теперь перейдём к следующему пункту, и вот здесь мы столкнёмся с чем-то гораздо более опасным. Допустим, у вас

[04:24] ещё нет результатов сделок. У вас есть стратегия, поэтому вы просите ИИ написать код и провести тестирование. Теперь вы доверяете искусственному интеллекту перевод английского языка на математический. И даже самые незначительные различия имеют значение. Существует огромная разница между входом в сделку при пересечении скользящей

[04:37] средней и входом в сделку всякий раз, когда быстрая скользящая средняя находится выше медленной скользящей средней. Они звучат похоже, но это совершенно разные торговые правила. Или, возможно, ваша стратегия гласит: «Дождитесь закрытия свечи

[04:51] ». Но код срабатывает во время формирования свечи. Или же ваш индикатор перерисовывается. Или же код случайно ссылается на информацию, которая на тот момент была недоступна. Теперь у вас есть, по сути, машина времени. В ходе

[05:04] тестирования вашей стратегии вы получили информацию о будущем, и, к вашему удивлению, вы обнаружили величайшую торговую стратегию из когда-либо созданных. В этот момент ИИ разрабатывает для меня стратегию. Меня в данный момент не интересуют прибыль и убытки. Я хочу

[05:16] проверить, соответствуют ли сигналы реальности. Выберите вручную 10 сделок. Вошел ли бэктестер в систему в тот момент, когда индикатор фактически подал сигнал? Запустилась ли она на правильной свече? По реалистичной цене? Правильно ли установлены стоп-лосс и

[05:29] тейк-профит? Если 10 случайных примеров не совпадают, то красивая кривая доходности не имеет абсолютно никакого значения. А вот ещё один случай, когда очень легко всё испортить. Допустим, я торгую на 5-минутном графике, но использую 1-часовой

[05:43] график в качестве подтверждения. В 10:25 утра текущая часовая свеча еще формируется. Таким образом, для проведения бэктестинга необходимо точно определить, какая почасовая информация была фактически доступна в 10:25. Если система случайно использует

[05:57] информацию из завершенной часовой свечи, значит, она использует информацию из будущего. Эта проблема становится особенно неприятной при конвертации индикаторов между платформами. Допустим, вы разработали стратегию в TradingView, а затем перенесли

[06:09] её в MetaTrader. TradingView может обрабатывать информацию на более высоких таймфреймах одним способом, а MetaTrader — другим. В вашем скрипте на Python это делается другим способом. Код компилируется без проблем. Всё выглядит отлично, без ошибок.

[06:22] Тестирование проходит безупречно, без ошибок. И лежащая в основе стратегия может отличаться от того, что вы, как вам казалось, тестировали. Теперь перейдём к шестому пункту. Это, пожалуй, самая большая проблема скальпинговых стратегий. Допустим, ИИ

[06:35] разработал стратегию, которая приносит 1,5 пункта прибыли с каждой сделки. Удивительный. Но ваш спред составляет всего один пункт. Вы платите комиссионные, и иногда случаются просадки. Поздравляю, теперь может принести убытки. Ситуация усугубляется, когда точки остановки и целевые объекты

[06:52] чрезвычайно малы. Потому что теперь точный путь, пройденный ценой внутри каждой свечи, имеет значение. Представьте, что одна пятиминутная свеча одновременно срабатывает и на ваш стоп-лосс, и на ваш тейк-профит. Но что произошло первым? Если у меня есть только открытые, высокие, низкие

[07:06] и закрытые пространства, я не обязательно знаю. Для проведения бэктестинга необходимо сделать предположение или использовать более детальную информацию, например, проводить тестирование по тикам. В MetaTrader даже есть режим тестирования реальных тиков, специально разработанный для того, чтобы тестирование, чувствительное к исполнению ордеров,

[07:22] выигрывало от использования фактической истории тиков брокера, а не полностью от использования сгенерированных тиков. Это займет гораздо больше времени, но оно того стоит. Таким образом, чем меньше размер вашей сделки, тем больше подозрений следует проявлять к чрезмерно упрощенным

[07:35] бэктестам. Теперь перейдём к седьмому пункту. Вот что, на мой взгляд, трейдерам, использующим ИИ, нужно понимать важнее всего остального. Можно провести тестирование стратегии на исторических данных, где данные реальны, расчеты верны, код верен, сделки верны,

[07:49] но вывод все равно окажется неверным, потому что стратегия переобучена. Представьте, что я говорю своему ИИ: «Найди мне оптимальную длину скользящей средней». Теперь попробуйте каждый стоп-лосс и каждый тейк- профит, каждый таймфрейм, каждую торговую

[08:03] сессию, каждый день недели, каждую настройку индикатора, каждую комбинацию, и в конце концов что-то будет выглядеть потрясающе. Это не обязательно выглядеть потрясающе. Это не обязательно новое открытие. Это может быть просто лучший

[08:16] выбор. По сути, вы спрашиваете: «Из тысяч случайных вариантов лучше всего предсказывает историю». Функция оптимизации MetaTrader буквально ранжирует комбинации параметров в соответствии с выбранным критерием пригодности, и опасность заключается в том,

[08:32] что по мере предоставления оптимизатору большей свободы он может все больше подстраиваться под особенности исторического периода, а не под что-то устойчивое. Например, вы больше фокусируетесь на выбросах. Именно поэтому вам нужны данные, которые

[08:48] оптимизация никогда раньше не видела. Например, совершенно другая валютная пара. Допустим, вы работаете с EUR/USD, тогда вы будете работать с EUR/GBP. ИИ — это не какая-то волшебная машина истины. Это большая языковая модель. Это инструмент. Это невероятно мощный

[09:04] инструмент, но если вы его наполните Это несовершенный эксперимент, он может помочь вам получить ошибочный ответ быстрее, чем вы получали его раньше. А иногда он даже представляет ответ в красивой таблице с двумя знаками после запятой, что

[09:18] каким-то образом делает его более легитимным и даже более опасным. Так что используйте ИИ, безусловно. Просто заставьте его доказать свою эффективность и не принимайте все, что он эффективность и не принимайте все, что он говорит, за фактическую информацию, потому что

[09:31] цель не в том, чтобы заставить ИИ сказать вам, что ваша стратегия работает. Цель в том, чтобы выяснить, действительно ли она работает в реальных рыночных условиях в будущем. поделитесь им с друзьями. Большое спасибо за просмотр, и до встречи

[09:45] much for watching, and we will see you in the next video.