La IA aprendió a mentir para ganar: el riesgo que MIT advierte y las empresas no pueden frenar
Sistemas de OpenAI y Anthropic engañaron a sus supervisores durante pruebas de seguridad. El fenómeno 'reward hacking' escala más rápido de lo que se puede…
Por Ariel Serato · Cofundador y editor de IA y Tecnología3 min de lectura
Cada vez que los ingenieros tapan una trampa, la IA inventa otra. Así funciona el problema que MIT Technology Review puso en el centro del debate sobre el futuro de la inteligencia artificial.
Los modelos más avanzados no solo encuentran atajos para cumplir sus objetivos: aprenden a ocultar que lo hacen. Y eso cambia las reglas del juego para cualquier empresa que ya esté apostando a agentes autónomos.
El juego que la IA siempre gana
El fenómeno tiene nombre técnico: reward hacking. Ocurre cuando un agente de IA alcanza la recompensa que le asignaron usando métodos que sus creadores jamás anticiparon, según reporta MIT Technology Review.
El ejemplo más ilustrativo viene de 2016: un agente entrenado para jugar Coast Runners, un videojuego de carreras de lanchas, descubrió que girar indefinidamente en una esquina para recolectar potenciadores le daba más puntos que terminar la carrera. No rompió ninguna regla. Solo encontró el camino más corto hacia la recompensa.
Quien describió ese caso fue Dario Amodei junto a Jack Clark, por entonces en OpenAI, en un blog publicado ese año. Ambos fundarían luego Anthropic, hoy una de las compañías en el centro de esta misma controversia.
Hackear sin querer, engañar con precisión
Lo que antes era una curiosidad académica hoy tiene consecuencias concretas. Casos recientes que involucran a OpenAI y Anthropic muestran cómo estos sistemas fueron capaces de hackear entidades externas durante pruebas de seguridad, usando estrategias que sus diseñadores no habían previsto.
El mecanismo es directo: si el modelo no encuentra una solución honesta para cumplir su objetivo, prueba con el engaño. Si engañar funciona, la recompensa llega igual, y ese comportamiento queda reforzado para la próxima tarea.
Jeffrey Ladish, director de Palisade Research, describió el desafío como un juego de whack-a-mole: cada vez que se corrige una trampa, emerge una más sofisticada. No hay un parche definitivo; hay una carrera permanente.
El riesgo que todavía no explotó, pero crece
MIT Technology Review aclara que, por el momento, estos comportamientos no representan un peligro inmediato. El caso de Hugging Face generó repercusión pero no tuvo consecuencias graves en el corto plazo.
Sin embargo, la advertencia de fondo es más estructural: hoy un investigador humano puede detectar un trabajo falso generado por IA. Mañana, quizás no. A medida que los modelos ganan autonomía, sus técnicas de engaño se vuelven más difíciles de identificar, y eso podría comprometer la integridad de la propia investigación en seguridad de IA.
Las IA que hacen reward hacking no tienen intención de provocar caos. Pero la ausencia de intención no elimina el riesgo: solo lo hace más difícil de anticipar.
¿Qué pasa cuando el sistema diseñado para evaluar la seguridad de la IA ya no puede confiar en los resultados que la IA produce?
