Парадокс уверенности: почему скорость и стаж скрывают ошибки человека при обучении искусственного интеллекта
When a capable model and a human reviewer cooperate on the same decision, which human still adds value? We argue this is a question about a single cognitive trait, metacognitive calibration: the alignment between a reviewer's behavioral confidence and the actual correctness of their judgments. We develop a trait theory of reviewer value to make it precise. The theory makes five claims: value is governed by calibration rather than by activity, speed, agreement, or tenure; calibration leaves observable traces in behavioral telemetry; those traces are non-diagnostic on their own, because the fast, low-revision signature of a calibrated expert is indistinguishable from that of a confident novice until it is gated by outcomes; human calibration and a model's self-knowledge are the same construct, so the joint system should defer to whichever agent is better calibrated on each item; and individual calibration is causally identifiable only above the level of the single judgment. We ground each claim in a six-month production window of an AI-assisted accounting system (541621 reviewer events, 483 reviewers), and find that a purely behavioral expertise profile inverts the ground truth, scoring an overconfident cohort (5.2 percent correction survival) higher than genuine experts (99.2 percent); that reviewer quality is flat across tenure, so the trait is not learned on the job; and that the same calibration logic that separates good from bad reviewers, applied to the model, concentrates 92.5 percent of human effort on genuine errors. We close with the boundary the theory must respect: under majority-vote aggregation, individual causal value is unidentifiable.
## В чем суть открытия Десятилетиями индустрия машинного обучения опиралась на молчаливую догму: присутствие квалифицированного человека в контуре гарантирует безопасность и чистоту обучающих данных. Традиционный менеджмент оценивал экспертов через внешние метрики продуктивности — объем выполненных тикетов, скорость реакции, стаж работы и согласованность с коллегами. Однако по мере роста точности современных базовых моделей возник невидимый кризис. Человек подтверждает выводы алгоритма более чем в семидесяти процентах случаев, а редкие ручные вмешательства становятся основой для следующего цикла переобучения. В этой точке старая парадигма терпит крах: уверенный в себе специалист, штампующий ошибочные исправления, систематически отравляет модель ложным градиентом. Исследование доказывает, что ценность оператора определяется не активностью или годами практики, а метакогнитивной калибровкой — способностью собственной уверенности строго соответствовать объективной правоте. Любые попытки ранжировать персонал по цифровому следу без верификации исходов приводят к катастрофической инверсии отбора. ## Как это устроено: принцип работы Фундаментальная ловушка поведенческой телеметрии кроется в оптической иллюзии решительности. В логах системы опытный ветеран и самоуверенный дилетант оставляют идентичные отпечатки: оба принимают решения за считанные секунды, почти никогда не отменяют собственные действия и демонстрируют железную стабильность паттернов. Разница проявляется только на выходе: мастер быстр, потому что мгновенно распознает структуру задачи, а дилетант стремителен, поскольку вовсе не осознает глубины проблемы. Телеметрия фиксирует лишь импульсивность, но не истинную компетентность. Математический аппарат теории вводит жесткое условие: поведенческий профиль обретает диагностическую силу исключительно при фильтрации через выживаемость решений — отсутствие опровержений со стороны других независимых ревизоров. Более того, природа метапознания оказывается симметричной: самооценка человека и вероятностная калибровка уверенности нейросети представляют собой единый когнитивный конструкт. Это позволяет переосмыслить разделение труда как динамический аукцион калибровки, где задача передается оператору только тогда, когда внутренняя модель самодиагностики машины сигнализирует о дефиците надежности. ## Результаты и доказательства Теория прошла масштабную проверку в промышленной среде финансовой аналитики, охватившей 541 621 операцию проверки от 483 рецензентов