Benchmark Interno: Por Que Detectores de IA Erram Mais em Chinês do que em Inglês (e o Que Realmente Resolve)
Publicamos aqui os resultados de uma medição que fizemos internamente no detector da Neuroslop. Nada de dados de terceiros, nada de benchmarks genéricos. Rodamos nossas próprias métricas em conjuntos de dados que o modelo nunca viu durante o treinamento — e os resultados expuseram uma coisa que pouca gente discute abertamente: a acurácia de um detector de IA muda drasticamente dependendo do idioma.
Como medimos: datasets cegos e a métrica AUC
Usamos três conjuntos de dados held-out, ou seja, dados que o detector nunca acessou durante o treino:
- HC3 (English): compara respostas humanas com respostas do ChatGPT em inglês.
- HC3 (Chinese): mesma estrutura, mas para chinês mandarim.
- MAGE (English): outro benchmark público voltado para detecção de texto gerado por IA em inglês.
A métrica principal foi AUC (Area Under the ROC Curve). Pense na AUC como uma nota de 0 a 1 que mede quão bem o detector separa texto humano de texto de IA. Um valor de 1.0 significa separação perfeita; 0.5 é o equivalente de jogar uma moeda.
Para idiomas como russo, espanhol e português, usamos testes voltados para texto humanizado — aquele que passou por ferramentas de reescrita para parecer mais natural. São cenários mais difíceis, onde o texto humano e o de IA ficam visualmente parecidos.
Os números brutos
A tabela abaixo resume tudo que encontramos. Nenhum número foi arredondado ou exagerado.
| Idioma | Dataset / Tipo de Teste | AUC |
|---|---|---|
| Inglês | HC3 | 0.875 |
| Inglês | MAGE | 0.875 |
| Chinês (com scaffolds) | HC3 | 0.848 |
| Chinês (sem scaffolds) | HC3 | 0.665 |
| Russo | Texto humanizado | > 0.90 |
| Espanhol | Texto humanizado | > 0.90 |
| Português | Texto humanizado | > 0.90 |
O número que mais salta aos olhos é o gap do chinês. Sem intervenção específica, ficamos em 0.665 — perigosamente perto de um palpite aleatório. Após minerarmos o que chamamos de "scaffolds explicativos" específicos para o chinês, o AUC saltou para 0.848. Uma diferença brutal.
Onde o inglês ganha de graça (e onde perde)
A maioria dos detectores de IA, incluindo o nosso no início, foi treinada com dados predominantemente em inglês. Isso significa que o modelo aprendeu primeiro os "tells" do inglês: certas construções sintáticas, padrões de repetição, distribuição de vocabulário que o ChatGPT favorece em inglês.
Quando jogamos o mesmo detector em chinês mandarim, sem ajustes, ele tentava aplicar regras que simplesmente não funcionam. O mandarim tem uma estrutura radicalmente diferente — sem artigos, com marcadores aspectuais que não existem no português, com uma relação entre caracteres e significado que muda completamente a distribuição estatística do texto.
Resultado: 0.665 de AUC. Quase inútil para um detector que se diz confiável.
O ponto que queremos martelar: o gargalo nunca foi poder computacional. Não resolvemos o problema do chinês com um modelo maior ou mais GPUs. Resolvemos identificando padrões linguísticos específicos que o texto gerado por IA produz naquele idioma particular.
O que realmente fecha a diferença entre idiomas
Quando olhamos para russo, espanhol e português com texto humanizado — cenário mais adverso, lembro — e vimos todos acima de 0.90 de AUC, confirmamos algo que já suspeitávamos.
A diferença não está em:
- Tamanho do modelo
- Quantidade de dados de treino em volume bruto
- Poder computacional disponível
A diferença está em:
- Scaffolds linguísticos específicos: regras e padrões extraídos para cada idioma que capturam como a IA "fala" naquela língua. Para o chinês, isso significou minerar construções explicativas e conectores lógicos que o ChatGPT usa com frequência anormal em mandarim.
- Compreensão de estrutura sintática nativa: um detector que entende a ordem natural de palavras em português brasileiro vai flagrar artificialidades que um detector genérico baseado em inglês ignora.
- Calibração para ferramentas de humanização: texto que passou por reescritores tem assinaturas diferentes de texto gerado direto. Detector bom precisa cobrir os dois cenários.
O que isso significa na prática
Se você usa um detector de IA e trabalha com conteúdo em português ou outros idiomas além do inglês, a pergunta certa não é "qual detector tem o maior modelo?". A pergunta é: "esse detector foi ajustado para o meu idioma com dados específicos, ou está aplicando regras de inglês traduzidas?"
Nossa experiência mostrou que investir em compreensão linguística por idioma entregou mais ganho real do que qualquer upgrade de infraestrutura. O salto de 0.665 para 0.848 no chinês não veio de mais parâmetros — veio de trabalho manual de identificar o que a IA faz de diferente naquela língua.
Para quem quer testar como um detector calibrado para múltiplos idiomas se comporta no seu caso, a ferramenta detector de texto com análise multilíngue da Neuroslop já incorpora esses ajustes. Não é perfeito — nenhum detector é — mas os números mostram que a diferença entre acertar e errar pode ser enorme dependendo de como o modelo entende a língua do texto que você está analisando.
A detecção de IA é um campo onde 0.875 e 0.665 significam realidades completamente diferentes para quem precisa de uma resposta confiável. Ignorar a variável do idioma é o erro mais comum que vemos no mercado.
Perguntas frequentes
O que significa AUC na avaliação de detectores de IA?
AUC (Area Under the ROC Curve) mede quão bem um detector separa texto humano de texto gerado por IA. Vai de 0 a 1, onde 1.0 é separação perfeita e 0.5 equivale a um palpite aleatório. É a métrica padrão para comparar detectores de forma justa.
Por que detectores de IA funcionam pior em chinês do que em inglês?
A maioria dos detectores é treinada com dados em inglês primeiro, aprendendo padrões sintáticos e estatísticos dessa língua. Quando aplicados ao chinês sem ajustes, essas regras falham porque a estrutura do mandarim é radicalmente diferente. Ajustes específicos por idioma fecham essa lacuna.
Detectores de IA funcionam bem para textos em português?
Depende do detector. Em nossos testes com texto humanizado em português, alcançamos AUC acima de 0.90. Mas isso só acontece porque incorporamos regras específicas para a língua portuguesa. Detectores genéricos baseados em inglês tendem a ter desempenho inferior.
Experimente: analise qualquer texto com o detector gratuito da Neuroslop.