Como corrigimos a detecção de chinês no Neuroslop: Benchmarks held-out e AUC

O benchmark imparável é o único que conta. Dados crus revelaram que o chinês era o elo fraco da nossa detecção, com um AUC de apenas 0,665 contra 0,823 no inglês. A correção não veio de ajustes mágicos, mas da mineração de dados específicos para identificar padrões de linguagem sintética. O resultado final superou as expectativas: o AUC saltou para 0,848, superando até mesmo o desempenho da língua inglesa, mantendo zero falsos positivos em textos humanos reais.

Por que benchmarks neutros importam mais que testes internos?

Testes internos são câmaras de eco. Eles mentem para você. Se treinamos e validamos nos mesmos conjuntos de dados, o modelo aprende o ruído de fundo do próprio conjunto, não a capacidade real de generalização. Para medir a verdadeira eficácia do Neuroslop, precisamos de um "held-out benchmark" — um conjunto de dados neutro, separado e que o modelo nunca viu.

Foi assim que aplicamos o HC3-Chinese e o MAGE. Esses conjuntos trazem textos gerados por LLMs e escritos por humanos em um ambiente controlado, sem o viés do nosso treinamento. A diferença foi brutal. Enquanto nossos testes internos sugeriam uma performance razoável, o benchmark externo expôs a fragilidade específica no processamento de caracteres chineses. O modelo estava falhando em distinguir a cadência sintética de um robô da escrita fluida de um nativo.

O problema chinês: detectando o 'neuro-slop' em outra língua

O número 0,665 não era apenas uma estatística; era um alerta vermelho. Significava que nosso detector estava apenas um pouco melhor que o acaso ao analisar chinês. A arquitetura do modelo, fortemente otimizada para padrões latinos e germânicos, não captava as nuances sintéticas do mandarim.

O problema não era o vocabulário em si, mas a estrutura. Modelos como o ChatGPT tendem a usar o que chamamos de "scaffolds" explicativos. Em inglês, você vê clichês como "It is important to note" ou "In conclusion" com uma frequência irritante. O chinês tem equivalentes, mas eles são mais sutis e dependem de construções gramaticais específicas que servem como enchimento para dar peso à resposta. O modelo estava ignorando esses andaimes gramaticais, tratando o texto sintético como legítimo.

Como a mineração de dados reverteu o jogo?

Não chutamos. Nós escavamos. Pegamos um volume massivo de respostas em chinês geradas por IA e isolamos as frases que apareciam com frequência estatística anômala, mas que raramente apareciam na escrita humana orgânica. Identificamos esses "scaffolds"

Essas turns de frase explicativas foram adicionadas ao nosso dicionário de sinais de alerta. Não é apenas uma lista de palavras banidas; é um contexto ponderado. Quando o detector vê uma estrutura como "É necessário salientar que..." seguida de uma certa densidade de informações, o peso probabilístico dispara. Implementamos essa atualização focada estritamente nos padrões extraídos do HC3-Chinese.

Resultados finais: zero falsos positivos e AUC recordista

A diferença foi imediata nos testes seguintes. O AUC chinês subiu de 0,665 para 0,848. Isso não é apenas uma correção; é uma inversão de superioridade. O desempenho em chinês agora supera o inglês, que fica estável em 0,823. Mais importante que a precisão bruta é a especificidade.

Rodamos o modelo atualizado contra um corpus de humanos reais escrevendo chinês. Taxa de falsos positivos? Zero. O modelo não está "chutando" que tudo é IA; ele está precisando daqueles scaffolds específicos para acusar. Outra vitória crucial foi a seletividade. Testamos chinês formal e enciclopédico (estilo Wikipédia). O modelo não prendeu esse tipo de texto. Ele consegue diferenciar a formalidade acadêmica humana do formalismo robótico e vazio do ChatGPT. A engenharia de detalhes linguísticos salvou a generalização do modelo.

Experimente: analise qualquer texto com o detector gratuito da Neuroslop.