Память о пройденном пути: финальные параметры нейросети хранят скрытую историю ее обучения
Нейронные сети, обученные одной и той же задаче, развивают связанные структуры весового пространства, но остаются различимыми после обучения. Отражают ли эти различия просто альтернативные решения или сохраняют информацию об индивидуальной истории обучения? Мы проверили, показывают ли окончательные веса инициализацию, порядок задач и более ранние состояния траектории. Обучение реорганизовало ансамбль: начальные парные расстояния не всегда предсказывали конечные расстояния. Тем не менее, все 30 обученных сетей были правильно сопоставлены со своими первоначальными весами среди десяти кандидатов на набор данных. Сети, разделяющие инициализацию, также разработали узнаваемые окончательные скрытые представления в разных пакетных расписаниях, хотя прямое сравнение с первоначальной активностью не восстановило идентичность. Порядок обучения также остался читаемым. Линейный зонд декодировал порядок двух предыдущих задач с точностью 100% на 80 удерживаемых сетях после десяти эпох общей финальной задачи. Более ранние состояния промежуточного веса были частично предсказуемы, но отдельные начальные веса не могли быть надежно восстановлены. Таким образом, окончательные веса сохраняют выборочную историческую информацию, а не полную запись траектории. Возмущенные сети восстановили эффективность классификации, не возвращаясь к своим невозмущенным путям обучения. Это разделение сохранялось в зависимости от наборов данных, времени вмешательства и сетевых уровней. Более того, 2157 из 2160 выровненных пар конечных точек не показали положительного барьера потерь в выбранных точках интерполяции, что указывает на связи с низкими потерями между различными решениями, а не на сходимость к одному весовому вектору. В совокупности эти результаты показывают, что общая задача ограничивает сети связанными успешными решениями, не стирая при этом их индивидуальную историю. Итоговые веса отражают не только то, чему научилась сеть, но и то, где обучение началось и как оно разворачивалось.
## В чем суть открытия Десятилетиями в машинном обучении господствовало представление об оптимизации как о процессе стирания информации. Предполагалось, что стохастический градиентный спуск стягивает параметры независимо инициализированных систем в общий бассейн притяжения целевой задачи, полностью растворяя индивидуальную предысторию. Различия между обученными моделями традиционно списывали на статистический шум или избыточную параметризацию. Однако команда исследователей под руководством Патрика Краусса опровергла этот догмат. Ученые экспериментально доказали, что финальное состояние весов нейросети — это не безликая точка функционального оптимума, а палимпсест, хранящий четкие геометрические отпечатки своего генезиса. Финальные весовые конфигурации позволяют безошибочно опознать конкретную случайную инициализацию среди десятка кандидатов и сохраняют хронологический порядок пройденных задач даже после долгого обучения на совершенно стороннем датасете. ## Как это устроено: принцип работы Ключевой барьер при прямом сравнении нейросетей заключается в скрытых симметриях: скрытые нейроны можно произвольно переставлять местами, а веса на входе и выходе взаимно масштабировать без изменения выполняемой функции. Чтобы устранить этот координатный произвол, исследователи применили каноническую калибровку активаций и алгоритм оптимального венгерского сопоставления нейронов. После устранения перестановочных степеней свободы открылась стройная картина. Обучение кардинально перестраивает ансамблевую геометрию: взаимные расстояния между моделями на старте почти не коррелируют с дистанциями на финише. Но эта реорганизация не уничтожает индивидуальность. Каждая сеть остается геометрически ближе к собственной отправной точке, чем к чужим стартам. Более того, при обучении на чередующихся задачах каждый пройденный этап оставляет остаточный след в подпространстве весов, считываемый стандартным линейным классификатором. ## Результаты и доказательства Экспериментальная верификация охватила тысячи моделей на наборах данных MNIST, Fashion-MNIST и Kuzushiji-MNIST. В базовой когорте из 30 сетей алгоритм сопоставления со 100% точностью идентифицировал исходную инициализацию каждой модели среди десяти кандидатов. Этот индивидуальный маркер проявился и в пространстве представлений: при независимой смене порядка батчей модели с общей инициализацией формировали сходные скрытые активации с точностью распознавания до 97%. В экспериментах по декодированию истории пары сетей обучали