Benchmark de detector de IA: ¿Qué trucos de humanización funcionan?

Nos cansamos de la especulación. Todo el mundo tiene una teoría sobre cómo engañar a los detectores de inteligencia artificial, pero pocas veces vemos datos crudos. Decidimos poner a prueba nuestra propia tecnología en Neuroslop para ver qué resiste y qué se rompe bajo presión. No nos basamos en académicos de terceros; nosotros mismos ejecutamos las pruebas y analizamos los resultados.

El objetivo era simple: medir la recuperación (recall) de nuestro detector frente a una serie de ataques adversarios del catálogo RAID. Comparamos el rendimiento contra texto máquina limpio frente a texto modificado con trucos comunes de "humanización". Basamos nuestro análisis estrictamente en los números que obtuvimos, sin redondeos ni especulaciones optimistas.

¿Cómo diseñamos este experimento?

Utilizamos el catálogo RAID para simular ataques reales. Evaluamos cinco vectores específicos de evasión: inserción de espacios en blanco, capitalización aleatoria de letras, errores ortográficos intencionales, intercambio de sinónimos y la paráfrasis completa mediante otro modelo de IA. La métrica clave fue la tasa de recuperación, es decir, la capacidad de nuestro sistema para identificar correctamente el texto generado por IA incluso después de ser alterado.

Partimos de una línea base sólida. Sin ningún tipo de manipulación, nuestro detector logró una recuperación de aproximadamente el 40% en texto máquina limpio. Este fue nuestro punto de anclaje. Cualquier variación significativa en los ataques posteriores indicaría una vulnerabilidad o una fortaleza en nuestro modelo.

Resultados del benchmark: ¿Cuánto bajó la precisión?

Los datos revelaron comportamientos drásticamente diferentes según el tipo de ataque. Algunos trucos de "humanizador" resultaron ser inútiles, mientras que otros lograron colapsar la detección antes de que aplicáramos correcciones. A continuación, presentamos las cifras clave obtenidas tras medir cada técnica contra nuestra herramienta:

Vemos que la inserción de espacios en blanco es una táctica ineficaz. La caída de solo 5 puntos porcentuales demuestra que nuestro modelo es casi inmune a este tipo de ruido superficial. Por otro lado, la capitalización aleatoria mostró una vulnerabilidad inicial severa, reduciendo la recuperación al 10%. Esto sucedió porque el ataque rompía la estructura de tokens que nuestro modelo espera ver.

Sin embargo, el análisis no termina ahí. Al identificar que el ataque explotaba una heurística de nombres propios, implementamos un parche rápido. Tras esta corrección, la recuperación subió al 23%. Aunque sigue siendo una caída respecto a la línea base, el daño se mitigó significativamente simplemente entendiendo cómo el ataque rompía el flujo normal del texto.

¿Qué nos dicen estos datos sobre la detección de IA?

Los ataques más duros de combatir fueron los cambios a nivel de palabra. Tanto las faltas de ortografía como el intercambio de sinónimos redujeron la recuperación en 18 puntos porcentuales cada uno. Esto tiene sentido lógico: estos métodos rompen la coincidencia exacta de palabras y obligan al detector a inferir significado basándose en contextos fragmentados. Es aquí donde los "humanizadores" básicos logran su objetivo, aunque a costa de dejar el texto ilegible para un lector humano.

Lo más irónico, sin embargo, fue el resultado de la paráfrasis. Muchos usuarios creen que pasar un texto por ChatGPT u otra IA para reescribirlo lo limpiará. Nuestros datos muestran lo contrario. La paráfrasis aumentó la detección en un 5%. ¿Por qué? Porque la segunda IA estampa sus propios marcadores lingüísticos, añadiendo otra capa de "artificialidad" que nuestro detector identifica en Neuroslop con mayor facilidad.

La realidad de los "humanizadores" de texto

Este benchmark confirma que no todos los trucos son iguales. Engañar a un detector requiere esfuerzos que a menudo destruyen la calidad del texto, como llenarlo de errores o cambiar palabras por sinónimos forzados. Los trucos superficiales, como los espacios extra, son una pérdida de tiempo. Incluso cuando un ataque como la capitalización aleatoria tiene éxito inicialmente, un análisis rápido y una mejora en el algoritmo pueden recuperar gran parte de la precisión perdida.

La verdadera defensa no es añadir ruido, sino escribir con propósito. Mientras los atacantes se basen en sustituciones mecánicas de palabras, los detectores que analizan el contexto y la estructura profunda seguirán teniendo la ventaja.

Pruébalo: analiza cualquier texto con el detector gratuito de Neuroslop.