Аудит автономных агентов кодирования выявил шокирующий пробел в доверии к непроверенным изменениям и утечке учетных данных
Агенты ИИ-кодирования теперь выполняют длительную, многоэтапную и многосессионную работу с программным обеспечением без особого контроля. Когда разработчик возвращается к этой работе, полезный вопрос заключается не в том, что говорит модель, а в том, что на самом деле было сделано, кем и завершено ли это. Мы изучаем это в трех частях. Сначала мы проверяем Agenttrail, инструмент локального наблюдения с открытым исходным кодом для кодирования агентов, на соответствие его исходному коду при коммите e4ba2da: девять документированных констант и механизмов сохраняются на уровне файлов и строк, два конвейера событий никогда не объединяются, а его сервис Map имеет неаутентифицированную локальную поверхность мутации. Во-вторых, мы запускаем прототип нашей системы на 45 реальных сеансах кодирования агента (102 233 записи, 20 577 запусков инструментов, 2336 эпизодов взаимодействия человека с агентом). С помощью классификатора со слепой проверкой (точность 83.3% и 96.7%) мы оцениваем, что 23.4% (95% CI 17.1–35.7) эпизодов редактирования кода заканчивается без независимой проверки после последнего редактирования, и что 57.8% задач, которые агент пометил как завершенные после редактирования, не имеет промежуточных доказательств. 10-минутная эвристика синхронизации для переключения сеансов восстанавливает 6 из 24 пар сеансов, которые связывают линии передачи контента. 42% сеансов длится более 24 часов, 48.1% байтов расшифровки превышает границу воспроизведения в 2 МБ, а 1326 записей в 16 сеансах содержат строки, подобные учетным данным. В-третьих, мы предлагаем Soei (структурированное наблюдение доказательств и намерений): схему событий с учетом подтверждений, локальный реестр с хэш-цепочкой, график, согласованный с W3C PROV, калиброванный вывод для атрибуции и происхождения, а также уровень проверки, который отделяет утверждение о завершении от доказательства. В том же корпусе реестр имеет необработанный размер 20%, не содержит ни контента, ни учетных данных, проверяется со скоростью около 126 тыс. событий в секунду, обнаруживает несанкционированное вмешательство и детерминированно воспроизводится. Мы сравниваем эту работу с параллельными предложениями 2026 года и определяем уровни автономии с помощью доказательных данных и используем показатели, основанные на наших данных.
## В чем суть открытия Агенты ИИ-кодирования регулярно объявляют задачи программного обеспечения выполненными, фактически не проверяя их изменения, при этом сливая учетные данные в необработанные журналы. Soei предоставляет защищенный от несанкционированного доступа реестр доказательств, который обеспечивает подтверждение до завершения. ## Как это устроено: принцип работы Soei действует как пассивный наблюдатель, который перехватывает необработанные журналы сеансов агентов, отфильтровывает конфиденциальные учетные данные при приеме и сохраняет события с криптографической хеш-цепочкой без содержимого кода. Он создает график доказательств, согласованный с PROV, который связывает изменения состояния с доказательствами выполнения после редактирования и оценивает происхождение многосессионных артефактов через длительные промежутки времени. ## Что это меняет на практике Предоставляет необходимую доказательную основу и «золотые возможности» для оценки агентов кодирования, позволяя организациям безопасно управлять автономными многоагентными конвейерами разработки программного обеспечения и обеспечивать развертывание на основе фактических данных. ## Границы метода и риски Текущий пилотный проект опирается на классификацию доказательств на основе правил, а не на проверенные средства проверки результатов, отслеживает происхождение на уровне пути, а не на основе дайджеста контента, и оценивался только на корпусе рабочих станций с одним разработчиком. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Claim-proof unverified rate: 23.4% (95% CI 17.1-35.7%); Unproved completion rate: 57.8%; Hand-off recall: 25.0% (temporal) vs 100% (content lineage); Ledger verification throughput: ~126k events/s; Ledger compression ratio: 19.96% of raw log size; Secret exposure scrub rate: 1,326 raw secret records -> 0 ledger secret records. - **Размер выборки / валидация:** N = 45 coding-agent sessions (102,233 raw records, 20,577 tool executions, 2,336 human-to-agent episodes) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)