Una prueba a ciegas sobre las marcas de agua que están incorporando los textos generados por las IAs

Mucho se habla estos días de las marcas de agua de la IA (watermarks), que deben incluirse por ley en la Unión Europea en los textos, imágenes, sonidos y otros contenidos para que se puede distinguir automáticamente de los generados por humanos.

Una buena prueba de cómo funcionan es este Test de marcas de agua, una prueba a ciegas donde se presentan diez preguntas con tres textos similares cada una (A, B, C) y hay que intentar distinguir cuál de ellos contiene marcas de agua SynthID-Text, uno de los métodos propuestos. Es el que Claude ha anunciado que va a usar y, el que Gemini también está usando.

El test es mediantamente rápido de hacer y un tanto inquietante: no parece haber nada que distinguir, simplemente son formas distintas de contar las mismas cosas (por ej. por qué es bonito guardar los mapas en papel aunque usemos Google Maps). Pero los cambios en palabras y expresiones (intermente: en los tokens elegidos) son demasiado sutiles.

Ojo cuidao: no se trata de adivinar qué textos están creados por una IA, porque todos están creados por una IA. Simplemente, cuáles están «marcados» y, en cierto modo, usan palabras o giros que probablemente no deberían usar.

Yo no he pasado de un 4 de 10, que es casi estadísticamente insignificante y supongo que todo el mundo se va a quedar en 3-4.

Al final del test puede verse la explicación detallada de qué elecciones de tokens contribuyen a formar las desviaciones estadísticas que constituyen la marca de agua, y es cuando se entiende que es prácticamente imposible detectarlas sin tener mucha más información sobre los modelos, tokens, pesos y demás. A menos que seas un máquina.

Relacionados:

• Basura artificial o comentarios humanos: un juego para distinguir las respuestas falsas de las reales
• Enigma GPT-2: ¿Puedes distinguir un artículo real de otro falso generado mediante inteligencia artificial leyendo el resumen?
• La paradoja de la revista de relatos de ciencia ficción que ha decidido no recibir más abrumada por los generados mediante IA
• «Contenido creado por humanos», un nuevo sello para distinguir el contenido humano del generado por las inteligencias artificiales
• Human.json: un protocolo para verificar la humanidad de los contenidos de los sitios web
• Cómo se pueden usar los rasgos de las tipografías para ocultar mensajes
• Imágenes creadas por personas o por inteligencias artificiales; esa es la cuestión, y distinguirlas es el juego
• ¿Cuál está generado por una inteligencia artificial? Un juego de distinguir imágenes
• ¿Ser humano o no? El Test de Turing a modo de juego que empareja gente desconocida (y a veces bots)