ai_frontier · 2026-10-27
Обучение нейросетей кодингу улучшили на 46%: алгоритм очистил данные от скрытого шума
Производительность языковой модели сильно зависит от сочетания доменов в корпусе данных предварительного обучения. Популярные методы смешивания данных выбирают эти веса доменов путем обучения множества небольших прокси-моделей на случайных миксах, а затем подбирают регрессионную модель для прогнозирования производительности на основе этого микса. Мы рассматриваем эту практику как проблему атрибуции домена, где регрессия измеряет вклад каждого домена в целевой показатель. С этой точки зрения стандартная выборка Дирихле из смесей прокси-данных представляет собой плохую регрессионную схему, которая требует настройки и не может поддерживать линейную аппроксимацию для сотен областей. Основываясь на классической оптимальной экспериментальной схеме, мы представляем LinMix, который отбирает смеси в вершинах ограниченного симплекса так, что каждый домен находится на своем пределе или отсутствует. Эта выборка вершин без гиперпараметров декоррелирует эффекты предметной области, позволяя интерпретируемую линейную модель, коэффициенты которой являются атрибутами предметной области. Оптимальное сочетание, заданное LinMix, доказуемо сохраняет только домены с положительными значениями атрибуции и не требует поиска по сочетаниям кандидатов. Далее мы устанавливаем оптимальность выборки вершин и доказываем, что выборка Дирихле увеличивает ошибку атрибуции, когда ее смеси концентрируются вокруг предыдущей смеси данных. Эксперименты по предварительному обучению с языковыми моделями OLMo2 с 1B-параметрами и 4B Qwen3.5 показывают, что LinMix превосходит смешивание данных на основе Дирихле в тестах рассуждения, кода и математики с относительным выигрышем 46% на MBPP и 14% на GSM8K. В 288 мелкозернистых доменах только выборка вершин поддерживает линейную аппроксимацию, а LinMix повышает точность тестов на 11% в среднем по сравнению с лучшим нелинейным базовым уровнем.
## В чем суть открытия
Почему стандартные смеси данных Дирихле не могут масштабироваться до сотен доменов и как выборка вершин открывает интерпретируемую линейную атрибуцию LLM?
## Как это устроено: принцип работы
Популярные методы смешивания данных выбирают эти веса доменов путем обучения множества небольших прокси-моделей на случайных миксах, а затем подбирают регрессионную модель для прогнозирования производительности на основе этого микса. Мы рассматриваем эту практику как проблему атрибуции домена, где регрессия измеряет вклад каждого домена в целевой показатель.
## Что это меняет на практике
Позволяет разработчикам ИИ масштабировать смешивание данных перед обучением до сотен мелкозернистых областей без дорогостоящих эвристических поисков или сложной нелинейной настройки, сокращая вычислительные затраты перед обучением и одновременно ускоряя дальнейшие рассуждения.
## Границы метода и риски
Предполагается, что вклады доменов могут быть смоделированы как линейно аддитивные при экстремальных ограничениях, что может потребовать повторной оценки, если определения доменов изменяются динамически или если экстремальные ограничения приводят к нестабильности обучения.
## Результаты и доказательства
- **Комплексный скор значимости:** 9.6 / 10.0
- **Уровень доказательности:** Теоретическое обоснование
quantum_physics · 2026-11-18
Аннотация: Современная цифровая инфраструктура сталкивается с системным комплексным кризисом по трем фундаментальным векторам: вероятностная ловушка ИИ (стохастические модели с галлюцинациями и катастрофическим потреблением энергии), уязвим
ai_frontier · 2026-11-18
Abstract Background Children with cerebral palsy (CP) exhibit substantially elevated energetic costs of walking, yet the biomechanical origins of this excessive cost remain unclear, limiting the effectiveness of current interventions. Metho
ai_frontier · 2026-11-18
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка п
brain_bci · 2026-11-18
Монреальская когнитивная оценка (MoCA) широко используется в исследованиях болезни Паркинсона (БП) для измерения когнитивных функций, но опубликованные пороговые значения для легких когнитивных нарушений (PD-MCI) и деменции (PDD) различаютс
brain_bci · 2026-11-18
Компьютеризированная когнитивная тренировка (CCT) направлена на смягчение снижения когнитивных функций при субъективном снижении когнитивных функций (SCD) и легких когнитивных нарушениях (MCI). Однако соблюдение требований и долгосрочное
brain_bci · 2026-11-18
Изучить этническое неравенство в результатах найма и представительстве рабочей силы среди медсестер и акушерок в разных диапазонах оплаты, а также оценить, могут ли регулярно собираемые административные данные генерировать воспроизводимые п
biomedicine_health · 2026-11-18
Это обновление ранее опубликованного обзора. Женщины с бесплодием могут использовать дополнительные методы лечения для улучшения репродуктивных результатов. Мио-инозитол и D-хиро-инозитол — это широко доступные пищевые добавки, которые обыч
biomedicine_health · 2026-11-18
Имеглимин — противодиабетический препарат на основе метформина, который улучшает гликемию за счет оптимизации функции митохондрий. Данные свидетельствуют о том, что он повышает эффективность митохондрий и сохраняет массу β-клеток поджелудоч
brain_bci · 2026-11-18
Несмотря на наблюдаемые преимущества современных методов лечения, у людей, живущих со спинальной мышечной атрофией (СМА), сохраняются некоторые тяжелые симптомы. Усталость постоянно указывается сообществом СМА как главная неудовлетворенная
biomedicine_health · 2026-11-18
In reproductive-aged women with polycystic ovary syndrome, overweight or obesity exacerbates metabolic and reproductive risks; lifestyle interventions and metformin have limited weight-loss effects, and more effective pharmacological weight
biotech_bioengineering · 2026-11-18
Геномный отбор стал мощным инструментом для ускорения генетического улучшения в селекции животных, однако его более широкое применение часто ограничивается высокими затратами на генотипирование и снижением надежности прогнозирования среди п
biotech_bioengineering · 2026-11-18
Osteoglossidae, одна из самых древних пресноводных рыб, демонстрирующая трансконтинентальную дизъюнкцию, дает важную информацию о ранней эволюции костистых рыб и исторической биогеографии. Используя интегрированные стратегии секвенирования,
biotech_bioengineering · 2026-11-18
Фертильность молока сильно влияет на устойчивость фермы, поскольку молодых коров приходится выращивать в течение многих месяцев, прежде чем они начнут давать молоко. Возраст начала обслуживания (AFS) является ключевым фактором репродуктивно
biomedicine_health · 2026-11-18
Понимание движущих сил, лежащих в основе половых различий в продолжительности жизни, может дать ценную информацию об эволюции продолжительности жизни в целом. Однако сравнительные исследования, выявляющие эти факторы у беспозвоночных, остаю
ai_frontier · 2026-11-18
Травматическая оптическая нейропатия (ТОН) является основной причиной необратимой потери зрения после тупой черепно-мозговой травмы, однако отсутствие клинически значимых моделей на крупных животных, которые точно повторяют человеческий ТОН