Разбор QANTA 2026: почему калибровка уверенности — ключ к детекции ИИ

Викторины формата Quizbowl — это не просто проверка эрудиции. Это гонка на время, где вопросы раскрываются по одному предложению, и чем раньше ты нажмешь на кнопку (базер), тем больше очков получишь, но и выше риск ошибиться. Для искусственного интеллекта такая задача — сущий кошмар. Модели склонны галлюцинировать, переоценивая свои знания на основе слабых намеков. Именно эту проблему пытается решить статья «Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026», представленная на Workshop EMM-QA.

Что именно исследуют авторы статьи

Авторы работы представили систему, которая заняла первое место на лидерборде с общим счетом 0.402. Их подход строится не на brute force переборе данных, а на элегантной архитектуре из двух агентов, каждый из которых заточен под специфический тип задачи в рамках соревнования.

Первый агент — Tossup Agent. Его задача — нажать базер в правильный момент. Здесь используется модель класса GPT-4o-mini (в логах соревнования обозначенная как GPT-4.1-mini). Главная фишка этого агента — политика численного рассуждения с калибровкой уверенности. Система специально обучена снижать переоценку своих возможностей, если ключевая подсказка носит лишь числовой или изолированный характер. Второй агент — Bonus Agent. Он отвечает за точность и работает на полной модели GPT-4o (GPT-4.1). Его задача — выбрать единственно верный ответ, используя структурированное реляционное рассуждение и мультимодальные доказательства. Авторы отказались от громоздких пайплайнов поиска информации (retrieval pipeline) в пользу эффективных политик рассуждения.

Как работает калибровка уверенности

В контексте статьи калибровка — это механизм, который говорит модели: «Подожди, тебе кажется, что ты знаешь ответ, но вероятность ошибки все еще слишком высока». Для Tossup агента критически важно не просто выдать ответ, а оценить, насколько он верен прямо сейчас. Авторы внедрили политику, которая подавляет «импульсивные» ответы, базирующиеся лишь на количественных данных (например, дата или цифра), без контекста.

Это позволяет легковесной модели (mini-версии) работать эффективнее, чем ожидалось, избегая ловушек ложных корреляций. Результаты говорят сами за себя: Tossup score 0.238, что является лучшим показателем в категории. Система доказала, что правильная настройка поведения (reasoning policy) важнее, чем просто размер модели или количество данных.

Что это означает для обнаружения ИИ-текста

Здесь мы переходим от сухих фактов исследования к нашему анализу. Команда Neuroslop считает, что эта работа вскрывает одну из главных уязвимостей современных детекторов: структурную предсказуемость. Когда модель применяет политику «калиброванной уверенности», она меняет свой паттерн письма. Обычный текст ChatGPT часто выглядит как поток уверенных утверждений, даже если модель ошибается. В данной работе авторы заставляют модель «сомневаться» алгоритмически.

На наш взгляд, это создает новый тип лингвистических следов. Если мы посмотрим на «Lead-in-aware reasoning» (рассуждение, учитывающее начало вопроса), то увидим, что модель вынуждена жестко структурировать свои логические цепочки, чтобы соответствовать критериям эффективности. Для человеческого глаза текст кажется логичным, но для алгоритмов, подобных нашему инструменту на neuroslop.net, такая жесткая логика становится красным флагом. Мы считаем, что попытка скрыть неуверенность через численные политики лишь усиливает «искусственность» текста в местах, где человек написал бы более размыто или интуитивно.

Будет ли эффективнее «двухагентный» подход в детекции?

Мы полагаем, что разделение ролей, как это сделано в статье, станет трендом и в генерации спама. Один легковесный бот может создавать черновик (Tossup), пытаясь угадать суть, а второй, мощный, — его полировать (Bonus). Если это станет массовой практикой, детекторам придется учиться отличать не просто «человек против машины», а «черновик машины» от «отполированной машины».

Наш анализ показывает, что «эффективные стратегии рассуждения», о которых пишут авторы, неизбежно оставляют отпечаток в виде специфических связок и лексических оборотов, призванных оптимизировать вычисления. Человек не пишет, экономя токены операций. Машина — пишет. Именно в этой экономии, в этом «дисциплинированном» рассуждении кроется ключ к выявлению авторства, даже если текст кажется грамматически безупречным.

Попробуй сам: проверь любой текст на ИИ бесплатным детектором Neuroslop.