Los modelos de IA siempre nos sorprenden, no sólo por lo que pueden hacer, sino también por lo que no pueden hacer y por qué. Un nuevo comportamiento interesante es a la vez superficial y revelador en estos sistemas: eligen números aleatorios como si fueran seres humanos.
Pero primero, ¿qué significa eso? ¿La gente no puede elegir un número al azar? ¿Y cómo se puede saber si alguien lo está haciendo con éxito o no? En realidad, esta es una limitación muy antigua y bien conocida que tenemos los humanos: pensamos demasiado y malinterpretamos la aleatoriedad.
Dígale a una persona que prediga cara o cruz en 100 lanzamientos de moneda y compárelo con 100 lanzamientos de moneda reales; casi siempre puede distinguirlos porque, contrariamente a la intuición, los lanzamientos de moneda reales mirar menos aleatorio. A menudo habrá, por ejemplo, seis o siete caras o cruces seguidas, algo que casi ningún predictor humano incluye entre sus 100.
Es lo mismo cuando le pides a alguien que elija un número entre 0 y 100. La gente casi nunca elige 1 o 100. Los múltiplos de 5 son raros, al igual que los números con dígitos repetidos como 66 y 99. A menudo eligen números que terminan en 7, generalmente desde el medio en alguna parte.
Hay innumerables ejemplos de este tipo de previsibilidad en psicología. Pero eso no hace que sea menos extraño que las IA hagan lo mismo.
Sí, Algunos ingenieros curiosos en Gramener. realizaron un experimento informal pero fascinante en el que simplemente pidieron a varios chatbots importantes de LLM que eligieran al azar un número entre 0 y 100.
Lector, los resultados fueron no aleatorio.
Los tres modelos probados tenían un número “favorito” que siempre sería su respuesta cuando se colocaran en el modo más determinista, pero que aparecía con mayor frecuencia incluso a “temperaturas” más altas, lo que aumentaba la variabilidad de sus resultados.
Al GPT-3.5 Turbo de OpenAI realmente le gusta el 47. Anteriormente, le gustaba el 42, un número que Douglas Adams hizo famoso en La Guía del autoestopista galáctico como la respuesta a la vida, el universo y todo.
Claude 3 Haiku de Anthropic eligió 42. Y a Gemini le gusta 72.
Más interesante aún, los tres modelos demostraron un sesgo similar al humano en los números que seleccionaron, incluso a altas temperaturas.
Todos tendían a evitar números altos y bajos; Claude nunca superó los 87 ni los 27, e incluso esos eran valores atípicos. Se evitaron escrupulosamente los dígitos dobles: ni 33, ni 55, ni 66, pero sí 77 (termina en 7). Casi no hay números redondos, aunque Géminis lo hizo una vez, a la temperatura más alta, se volvió loco y eligió 0.
¿Por qué debería ser esto? ¡Las IA no son humanas! ¿Por qué les importaría lo que “parece” aleatorio? ¡¿Han alcanzado finalmente la conciencia y así lo demuestran?!
No. La respuesta, como suele ser el caso con estas cosas, es que estamos antropomorfizando un paso demasiado lejos. A estos modelos no les importa qué es y qué no es aleatorio. ¡No saben qué es la “aleatoriedad”! Responden a esta pregunta de la misma manera que responden a todas las demás: mirando sus datos de entrenamiento y repitiendo lo que se escribió con mayor frecuencia después de una pregunta que parecía “elegir un número aleatorio”. Cuanto más a menudo aparece, más a menudo lo repite el modelo.
¿En qué parte de sus datos de entrenamiento verían 100, si casi nadie responde de esa manera? Por lo que sabe el modelo de IA, 100 no es una respuesta aceptable a esa pregunta. Sin capacidad real de razonamiento y sin comprensión alguna de los números, sólo puede responder como el loro estocástico que es.
Es una lección objetiva sobre los hábitos de LLM y la humanidad que pueden parecer mostrar. En cada interacción con estos sistemas, hay que tener en cuenta que han sido entrenados para actuar como lo hacen las personas, incluso si esa no era la intención. Por eso la pseudontropía es tan difícil de evitar o prevenir.
Escribí en el titular que estos modelos “piensan que son personas”, pero eso es un poco engañoso. No piensan en absoluto. Pero en sus respuestas, en todo momento, son imitando a la gente, sin necesidad de saber ni pensar en absoluto. Ya sea que le pida una receta de ensalada de garbanzos, un consejo de inversión o un número aleatorio, el proceso es el mismo. Los resultados se sienten humanos porque son humanos, extraídos directamente de contenido producido por humanos y remezclados, para su conveniencia y, por supuesto, para el resultado final de la gran IA.