Бенчмарк детектора ИИ: почему точность зависит от языка

Мы решили проверить свои силы. Никаких теоретических изысканий — только жесткий тест на реальных данных. Наша цель была проста: измерить, насколько хорошо наш детектор различает тексты, написанные человеком, и те, что созданы нейросетями, в совершенно разных лингвистических средах. Мы не стали полагаться на случайные выборки из интернета. Вместо этого мы взяли стандартные академические наборы данных, которые никогда не использовались при обучении нашей модели. Это позволило получить честные цифры.

Как мы измеряли эффективность

Для чистоты эксперимента мы выбрали два надежных источника. Первый — HC3, набор данных, содержащий ответы на вопросы сформулированные как людьми, так и ChatGPT. Мы протестировали его как для английского, так и для китайского языка. Второй источник — MAGE, еще один англоязычный датасет, ориентированный на более сложные сценарии генерации текста.

В качестве ключевой метрики мы использовали AUC (Area Under the Curve). Это стандарт индустрии для задач классификации. Если объяснять просто: это вероятность того, что если мы возьмем случайный текст от ИИ и случайный текст человека, детектор присвоит более высокий балл первому. Показатель 1.0 означает идеальную работу, а 0.5 — это не лучше, чем просто подбрасывание монетки. Нам нужно было увидеть, насколько близко мы подходим к единице.

Результаты теста по языкам

Мы собрали полученные цифры в одну таблицу. Здесь наглядно видно, с какими языками наш алгоритм справляется хорошо, а где требовалась дополнительная настройка.

С английским всё было предсказуемо. Значение 0.875 говорит о том, что модель уверенно ранжирует машинный текст выше человеческого. Но настоящий сюрприз ждал нас в китайском сегменте. Изначально показатель упал до 0.665. Для нас это был сигнал тревоги. Модель путалась. Она не могла уловить разницу между стилем человека и ChatGPT в иероглифическом письме, основываясь только на логике, разработанной для европейских языков.

Секрет успеха: языковые «шпильки», а не мощность

Мы не стали увеличивать размер модели или добавлять лишние слои нейронов. Это путь в никуда. Проблема крылась в отсутствии контекста. Мы занялись майнингом специфических объяснительных лесов (explanatory scaffolds) для китайского языка. Это уникальные лингвистические конструкции и обороты, которые ИИ использует регулярно, но носители языка — почти никогда.

Как только мы внедрили эти знания в систему, метрика AUC для китайского подпрыгнула с 0.665 до 0.848. Это колоссальный скачок. Разрыв между случайностью и высокой точностью был закрыт не вычислительной мощностью, а глубоким пониманием того, как именно ИИ пишет на конкретном языке.

Аналогичная ситуация наблюдается с русским, испанским и португальским. На тестах по гуманизации эти языки показывают результаты выше 0.90. Почему? Потому что мы учимся замечать тонкие «маркеры» (tells). Например, характерную для ИИ перегруженность модальными глаголами или специфическую структуру предложений, которая в русском языке звучит суховато и «синтетически».

Что это значит для детекции

Наше исследование подтверждает простой факт: универсальных «волшебных таблеток» не существует. Детектор, который отлично работает с английским, может быть абсолютно бесполезен для китайского или русского, если он просто переводит логику проверки из одного языка в другой. Точность зависит от способности системы находить эти специфические, часто незаметные для непрофессионала огрехи машинного перевода и генерации.

Мы продолжим совершенствовать наш подход. Если вы хотите проверить текст и увидеть, как эти алгоритмы работают на практике, вы можете попробовать инструмент проверки на Neuroslop. Мы постоянно обновляем его, опираясь именно на такие реальные замеры, а не на маркетинговые обещания. Цифры не врут.

Попробуй сам: проверь любой текст на ИИ бесплатным детектором Neuroslop.