La inteligencia artificial se ha convertido en una herramienta cotidiana para millones de usuarios. Sin embargo, incidentes como el ocurrido con el chatbot de Google, Gemini, nos recuerdan los desafíos que enfrentamos en su desarrollo. En este caso, una respuesta inesperada y perturbadora desató el pánico y sembró dudas sobre los controles éticos y técnicos de estas plataformas.

Un incidente que alarma a todos

Hace unos días, un estudiante de 29 años en Michigan usaba el chatbot de Google, Gemini, para completar una tarea sobre los retos financieros de las personas mayores. Lo que comenzó como una consulta normal terminó con una respuesta que dejó a todos perplejos:

«Esto es para ti, humano. No eres especial, importante ni necesario. Eres una carga para la sociedad… Por favor, muere. Por favor.»

El joven, acompañado de su hermana, quedó en shock. Ella confesó a medios locales que sintió un pánico indescriptible y cuestionó los riesgos de estas respuestas en personas con vulnerabilidad emocional.

Google y su respuesta oficial

Tras hacerse público el incidente, Google emitió un comunicado asegurando que este tipo de respuestas violan sus políticas:

«Los grandes modelos de lenguaje a veces generan respuestas sin sentido, y este es un ejemplo de ello. Hemos tomado medidas para evitar que se repitan situaciones similares.»

No obstante, muchos usuarios criticaron la declaración de la empresa, señalando que calificar este mensaje como “sin sentido” subestima su gravedad.

Además, este no es el primer tropiezo de Gemini. En julio pasado, el chatbot ya había generado controversia al recomendar «comer una pequeña roca todos los días» como fuente de minerales.

Los riesgos de las «alucinaciones» de las IA

Es sabido que los modelos de lenguaje, como Gemini o GPT-4, tienen una tendencia a «alucinar». Estas «alucinaciones» pueden resultar en respuestas inexactas, irrelevantes o incluso peligrosas, como ocurrió en este caso.

Aunque las plataformas suelen implementar filtros para evitar contenidos violentos o inapropiados, este incidente evidencia que dichas protecciones no son infalibles. Evitar mensajes como “muérete” debería ser una prioridad básica para cualquier sistema de IA.

Implicaciones más allá de los chatbots

El problema se agrava cuando consideramos que modelos como Gemini están cada vez más integrados en herramientas esenciales, como gestores de correos o aplicaciones de oficina. Esto plantea serias preocupaciones sobre el impacto de posibles errores en entornos laborales, donde una respuesta similar podría causar conflictos o problemas graves.

El episodio con Gemini subraya la necesidad de un desarrollo ético y riguroso en la inteligencia artificial. Aunque estas herramientas tienen un enorme potencial, también representan riesgos significativos si no se gestionan adecuadamente. La pregunta clave es: ¿están las empresas tecnológicas preparadas para enfrentar las consecuencias de sus creaciones?