Финансовые иллюзии искусственного интеллекта: аудит разоблачил фиктивную доходность биржевых нейросетей
В статьях о торговых агентах, использующих модели большого языка (LLM), и альфа-майнинге сообщаются коэффициенты Шарпа, которые были бы примечательны в любой другой части эмпирических финансов. Мы проверяем доказательства, стоящие за этими цифрами. Прежде чем написать одну статью, мы предварительно зарегистрировали группу из 91 статьи из курируемого корпуса торговых исследований LLM, рубрики кодирования из десяти полей, сценария анализа и пяти направленных гипотез и передали их всем контролю версий. Каждый код сопровождается дословной цитатой, которую сценарий сверяет с текстом статьи, а второй слепой программист перекодировал случайный 20%. Из 75 статей с торговым тестом 51% не вычитает торговые затраты и из данных вычитает только стоимость модели 9%; медианное окно тестирования составляет 12 месяцев, а четверть окон длится шесть месяцев или меньше. Среди 51 статьи, чье тестовое окно, как известно, не находится после окончания обучения модели, 98% не тестирует после ограничения, не оценивает в реальном времени и не использует хронологически согласованную модель. Только 9% сообщает о результате с поправкой на множественность, и только пять статей объединяют вычтенные затраты, контроль утечек и сообщаемое количество испытаний. Две из пяти гипотез проходят (короткие окна; неконтролируемый прогноз). Три из них терпят неудачу: в большем количестве статей сообщается о количестве испытаний, чем мы прогнозировали, хотя большинство этих подсчетов представляют собой повторяющиеся случайные начальные числа, а не количество исследованных стратегий; а предсказанные связи между заголовком Шарпа и длиной тестового окна, а также между заголовком Шарпа и затратами не обнаруживаются в 13 статьях, в аннотациях и заключениях которых упоминается заголовок Шарпа. Мы публикуем коды, цитаты и сценарий и предлагаем минимум шесть строк отчета.
## В чем суть открытия Десятилетиями эмпирические финансы расплачивались тяжелыми кризисами за иллюзию легких рыночных закономерностей. В классической эконометрике давно известно: если протестировать тысячи случайных индикаторов на исторических графиках, несколько из них неизбежно покажут феноменальную доходность исключительно в силу случайного шума. С приходом больших языковых моделей эта уязвимость возродилась в масштабах эпидемии. Сотни препринтов заявляют о создании автономных торговых агентов с невероятными коэффициентами эффективности, превосходящими показатели ведущих хедж-фондов Уолл-стрит. Однако до сих пор никто не проводил систематической ревизии того, опираются ли эти цифры на научные доказательства или являются артефактом методологической небрежности. Независимый исследователь Генри Чжан провел первый в финансовой литературе предварительно зарегистрированный аудит всей совокупности публикаций об ИИ-трейдинге, доказав, что подавляющее большинство сенсационных успехов — результат банальной утечки данных из будущего и игнорирования элементарных биржевых издержек. ## Как это устроено: принцип работы Чтобы исключить предвзятость самого аудитора, исследование было построено по жестким стандартам доказательной медицины. Все гипотезы, рубрика оценки из десяти параметров и аналитический скрипт были заранее зафиксированы в репозитории до анализа первого документа. Каждый присвоенный статус подтверждался точной цитатой из текста статьи, валидируемой автоматическим парсером, а слепой второй эксперт независимо перепроверил двадцать процентов всей выборки. В фокус проверки попали фундаментальные правила количественного трейдинга: вычитание биржевых комиссий и спредов, длительность тестового окна и главное — хронологический рубеж обучающей выборки нейросети. Если языковая модель обучалась на массивах данных, включающих котировки и новости 2023 года, а ее торговый бэктест запускался на графиках того же периода, модель не предсказывает цены, а воспроизводит память о прочитанном прошлом. ## Результаты и доказательства Из 91 проанализированной научной работы 75 содержали прямые симуляции торгов. Результаты аудита оказались сокрушительными для индустриального оптимизма. В 51% исследований из итоговой прибыли вообще не вычитались операционные расходы, и лишь в 9% работ транзакционные издержки честно моделировались по рыночным котировкам. Медианное тестовое окно составило всего 12 месяцев, причем четверть работ ограничилась полугодом и менее, зачастую на выборке