Почему мощные ускорители простаивают без дела и как связать отдельные компьютеры в единую фабрику кода
Для вывода на устройстве требуются ядра, которые эффективно используют локальные ускорители. Эффективное обучение и оценка моделей, генерирующих ядра Apple Metal, выигрывают от встроенных инструментов macOS и параллельных сеансов агентов. В этих сеансах чередуются запросы моделей, команды разработки и выполнение графического процессора, в результате чего мощность графического процессора простаивает на протяжении большей части развертывания. Мы представляем Metal Sandbox, инфраструктуру, которая сочетает в себе ограниченный доступ к файлам для каждого экземпляра, встроенное выполнение команд и планирование на уровне команд на взаимосвязанных компьютерах Mac. Каждый агент сохраняет свое рабочее пространство и частную среду разработки. Параллельные команды могут выполняться одновременно, тогда как последовательные команды используют один слот выполнения на узел; подходящие команды ожидания могут переноситься на доступные компьютеры Mac и возвращать результаты исходному агенту. Интеграция с Harbour поддерживает выполнение задач, автоматическую проверку и сбор данных с помощью единого рабочего процесса. Контролируемые эксперименты на четырех узлах Mac mini M4 позволили $1.68\times$--$2.05\times$ повысить пропускную способность команд в условиях концентрированного спроса. Шестнадцать статических трассировок агентов дают расчетный $2.14\times$ устойчивый прирост пропускной способности для четырех сеансов на узел по сравнению с одним, при условии непрерывного пополнения сеансов и неизменной средней продолжительности. Воспроизведение этих измеренных трасс в рамках динамического планирования сокращает среднее время ожидания инструмента на 18.8% и время, затраченное на обработку партии, на 22.3%, при условии неизменной длительности фаз. Metal Sandbox и его интеграция с Harbour находятся в открытом доступе на GitHub.
## В чем суть открытия Кухню, где четыре повара готовят еду: трое читают рецепты несколько минут, а один двадцать минут ждет единственную духовку; Благодаря совместному использованию духовок на разных кухнях каждое блюдо готовится без пригорания и задержек. ## Как это устроено: принцип работы Metal Sandbox изолирует агенты ИИ внутри собственных рабочих пространств песочницы приложений macOS с помощью частных виртуальных пользовательских каталогов. В то время как команды редактирования и компиляции файлов выполняются одновременно, рабочие нагрузки, связанные с графическим процессором, помещаются в одну последовательную очередь для каждой машины. Планировщик, координируемый по SSH, обнаруживает дисбалансы и переносит ожидающие команды на простаивающие удаленные компьютеры Mac с помощью трехфазного протокола резервирования, утверждения и фиксации с использованием общего хранилища. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Throughput (commands/hour), batch elapsed time (seconds/minutes), tool queue waiting time (p95 and mean in seconds/minutes) - **Размер выборки / валидация:** N = 4 Apple Mac mini M4 nodes, 16 agent rollout traces (1,279 tool commands), 288 controlled benchmark executions - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Позволяет группам инженеров превращать кластеры потребительского оборудования Apple в высокопроизводительные испытательные стенды для обучения агентов ИИ написанию собственных ядер графических процессоров, сокращая циклы итераций для моделей на устройствах. ## Границы метода и риски Межмашинная миграция требует примерно 1,86 секунды задержки в сети и начальной загрузки, что делает ее контрпродуктивной для задач менее секунды, в то время как App Sandbox не обеспечивает состязательную многопользовательскую изоляцию или эксклюзивную физическую блокировку графического процессора.