Как удержание физического состояния спасает нейросети прогноза погоды от фатальных ошибок
Модели прогнозирования погоды AI выпускаются с 32-битными (fp32) весами и по умолчанию работают в fp32, хотя современные графические процессоры вычисляют гораздо быстрее в 16-битных форматах. Мы запускаем пять общедоступных моделей — Aurora, Pangu-Weather, FourCastNet, SFNO и FastNet — на одном графическом процессоре объемом 16 ГБ с 52 исходными датами в 2024 году, в формате fp32 и с их сетями с половинной точностью (fp16), и сверяем прогнозы с ERA5. Физическое состояние должно оставаться в fp32: преобразование всей модели округляет его в физические единицы, что в fp16 переполняется, а в bf16 отбрасывает значимую информацию. С учетом состояния, его нормализации и денормализации в fp32, запуск сети в fp16 изменяет глобальное RMSE не более чем на 1.4% и примерно на 0.5% или меньше для четырех из пяти моделей, что эквивалентно менее чем одному часу времени до 8-го дня и не более двух часов в 10-й день. Различия не показывают никакой систематической закономерности по регионам, масштабам или для тропических и внетропических штормов, за исключением небольшого тропического штрафа в FourCastNet и fp16 оставляют CRPS, разброс и калибровку ансамбля Авроры практически без изменений. Ни одно значение не вышло за пределы числового диапазона fp16 (+/-65 504); самый крупный из них находится в 38–544 раза ниже него. Прогноз на 10 дней в fp16 выполняется в 1,3-3,5 раза быстрее, чем в fp32, и потребляет в 1,4-3,7 раза меньше энергии. Эксперименты по чувствительности показывают, что эмпирические правила других приложений с пониженной точностью переносятся лишь частично: первый и последний слои доминируют для некоторых моделей, но не для других, и ни один тип слоя сам по себе не является чувствительным. Для запуска моделей погоды AI на одном графическом процессоре fp16 с состоянием в fp32 практически без потерь и за небольшую часть стоимости. bf16, который часто предпочитают из-за его более широкого диапазона, столь же быстр, но менее точен, чем fp16 для каждой модели, а простое 8-битное квантование требует гораздо больше навыков.
## В чем суть открытия Механизм отслеживании погоды подобен бухгалтерском учете: вы сохраняете точные остатки денежных средств в бухгалтерских книгах с полной точностью, но быстро выполняете оценки ежедневных транзакций с помощью быстрой стенографии с половинной точностью, не теряя при этом общую сумму средств. ## Как это устроено: принцип работы Модели прогнозирования погоды ИИ преобразуют входные физические состояния в нормализованные представления перед их обработкой через нейронные сети. Сохраняя физическое состояние, его нормализацию и денормализацию строго в 32-битном формате с плавающей запятой (fp32) при выполнении внутренних сетевых уровней с 16-битной половинной точностью (fp16), можно полностью избежать числового переполнения в физических единицах. Эта гибридная изоляция поддерживает глобальное среднеквадратическое отклонение в пределах 1.4% с полной точностью, одновременно ускоряя скорость вывода от 1.3x до 3.5x. ## Что это меняет на практике Позволяет исследователям запускать самые современные нейронные метеорологические ансамбли с параметрами 1B+ на локальных графических процессорах потребительского класса с объемом памяти 16 ГБ без инфраструктуры высокопроизводительных вычислений, сокращая затраты на электроэнергию для вывода более чем на 60%. ## Границы метода и риски Не применяется к квантованию 8-битных целых чисел или чисел с плавающей запятой, которое серьезно ухудшает навыки; требует быстрых аппаратных тензорных операций fp16, недоступных на стандартных процессорах; и FourCastNet показывает незначительный штраф за ошибку тропического z500. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Global RMSE change <= 1.4% (median <=0.5%); 1.3x-3.5x speedup; 1.4x-3.7x energy reduction on 10-day forecasts. - **Размер выборки / валидация:** N = 52 initial dates in 2024 across 5 models (Aurora, Pangu-Weather, FourCastNet, SFNO, FastNet) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)