Человеческая интуиция превосходит алгоритм: пользователи предсказывают предпочтения фильмов гораздо лучше, чем системы
Рекомендательные системы обычно узнают, чего люди хотят, из того, что они сделали. Платформы также могут спрашивать людей напрямую, но запросы обходятся дорого: 98.8% запросов в наших данных остались без ответа. Теории статистического прогнозирования предполагают, что собственный прогноз человека мало что добавляет к рекомендательному алгоритму, построенному на основе поведения многих людей. Теории рассредоточенного знания предполагают, что люди владеют информацией о своих вкусах, которой нет в данных. Мы тестируем оба варианта с помощью набора данных MovieLens Beliefs. В 2023–2024 годах на главной странице участников спрашивали, как они собираются оценивать фильмы, которые, по их словам, они не видели. Из 26 020 таких ожиданий 551 из 277 участников последовали рейтингу как минимум на день позже. Мы сравниваем каждое ожидание с четырьмя критериями: собственным прогнозируемым рейтингом платформы, двумя моделями совместной фильтрации (матричная факторизация и соседство элементов) и стеком, обученным на результатах других участников. Обученные модели используют последние рейтинги каждого участника. Люди прогнозируют свои собственные рейтинги точнее, чем все четыре теста (корреляция 0,69 против 0,34 у MovieLens и от 0,54 до 0,59 у обученных рекомендателей). В сочетании со всеми прогнозами и функциями машины это ожидание снижает среднеквадратическую ошибку за пределами выборки на 26%. Выигрыш сохраняется, когда модели обучаются на более ранних ожиданиях и тестируются на более поздних. Прежние ожидания участника относительно других фильмов не заменяют нынешние. При заказе собственных фильмов участнику обученные рекомендации статистически неотличимы от человека. Со старыми фильмами с высокими рейтингами машины справляются так же или даже лучше. Результаты примиряют две теории: данных толпы достаточно там, где их много, и человек добавляет информацию о конкретном предмете. Мы выводим четыре принципа проектирования для выявления предпочтений и оценки рекомендаций.
## В чем суть открытия Если спросить пользователей, насколько они ожидают, что им понравится неизданный фильм, их окончательный рейтинг предсказывает лучше, чем сложные системы рекомендаций искусственного интеллекта, обученные на миллионах точек пользовательских данных. ## Как это устроено: принцип работы Система выявляет ожидания пользователя перед просмотром элемента. Это ожидание отражает уникальный личный контекст и рассредоточенные вкусовые сигналы, которые исторические алгоритмы совместной фильтрации не могут обнаружить на основе данных о прошлых взаимодействиях. ## Что это меняет на практике В ближайшие 1–3 года платформы смогут динамически вставлять целевые подсказки об ожиданиях товаров в потоки рекомендаций, чтобы значительно повысить точность повторного ранжирования и персонализированное обнаружение контента. ## Границы метода и риски Запрос пользователей влечет за собой затраты внимания из-за уровня игнорирования подсказок 98.8%, а преимущества самопрогноза пользователя при парном заказе кандидатов ухудшаются при длительных окнах оценки, составляющих 90 дней и более. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Correlation (0.69 vs 0.34-0.59), MSE reduction (-26%), Pairwise Ordering Accuracy (72% vs 56%-67%) - **Размер выборки / валидация:** N = 551 member-movie pairs (277 members, 389 movies) in main sample; 26,020 total expectation prompts; 33.0M ratings for model training - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)