Las barreras de IA que protegen a los malos actores: los investigadores de ciberseguridad ya no pueden trabajar

Los guardrails de la IA no solo frenan a los atacantes. También están paralizando a quienes nos defienden.

Los grandes laboratorios de inteligencia artificial —Anthropic y OpenAI a la cabeza— construyeron programas de acceso verificado y restricciones técnicas para evitar que sus modelos sean usados con fines maliciosos. El problema: esas mismas barreras están bloqueando el trabajo de investigadores de seguridad ofensiva que, por definición, necesitan pensar como atacantes para anticiparse a ellos.

La paradoja del martillo

Chris Anley, científico jefe de NCC Group, lo resume con una analogía directa: pedir a un modelo de IA que explote una vulnerabilidad es el paso clave para confirmar que esa falla es real y merece ser corregida. Si el modelo se niega, el guardián se convierte en obstáculo.

"'Corregí este código' como prompt es al mismo tiempo un mecanismo esencial de defensa y una hoja de ruta para encontrar vulnerabilidades críticas", explicó Anley. "Es como un martillo: no podés construir una casa sin uno. Es definitivamente una herramienta, pero también es irreductiblemente un arma."

Esa ambigüedad inherente es el nudo del problema. Las IA no pueden distinguir si quien pregunta es un criminal o un investigador certificado, y los sistemas de verificación —como el Cyber Verification Program de Anthropic o el Trusted Access for Cyber de OpenAI— son lentos, inconsistentes y, según varios expertos, insuficientes.

El efecto no deseado: la fuga hacia modelos chinos

Chris Thompson, CEO de RemoteThreat y fundador de Offensive AI Con, advirtió sobre una consecuencia que ningún laboratorio estadounidense debería ignorar: los investigadores responsables están siendo empujados hacia modelos de código abierto chinos como GLM, que pueden descargarse localmente y no tienen ningún tipo de restricción ni supervisión.

"Tenés a estos investigadores responsables siendo alejados de los sistemas gobernados por EE.UU. hacia sistemas de propiedad extranjera", dijo Thompson. "Creo que tener estas barreras hace más daño que bien."

El patrón se repite en distintas firmas. Paolo Stagno, CTO de CrowdFense —empresa que desarrolla y vende vulnerabilidades desconocidas a agencias gubernamentales—, confirmó que él y su equipo utilizan modelos frontier solo para ingeniería inversa. Para el trabajo ofensivo sensible, directamente optan por modelos de código abierto corridos localmente, para evitar que datos críticos sean absorbidos en futuras rondas de entrenamiento.

El costo de negociar con la IA en lugar de trabajar

Incluso dentro de los programas de acceso más permisivos, los guardrails funcionan de forma errática. Thompson describió una experiencia cotidiana que define el problema: en lugar de analizar vulnerabilidades, sus equipos terminan dedicando tiempo a entender por qué el modelo da respuestas inconsistentes o hipersanitizadas.

"El impacto práctico es que pasás mucho tiempo negociando con el modelo en lugar de trabajar en el programa de seguridad central", señaló.

Mark Dowd, investigador de seguridad con décadas de experiencia en la compra y venta de zero-days para gobiernos occidentales, fue más directo: "No me resulta cómodo que estas grandes compañías aleatorias tomen decisiones arbitrarias sobre qué es seguro en materia de seguridad y qué no".

El contexto regulatorio que complica todo

En junio, el gobierno de EE.UU. aplicó controles de exportación sobre los modelos Mythos y Fable de Anthropic, en parte motivado por reportes que señalaban que era posible eludir sus guardrails para construir y ejecutar ciberataques. Los controles sobre Fable 5 fueron levantados y el modelo volvió al acceso general el 1° de julio; Mythos 5 fue reintroducido únicamente para organizaciones estadounidenses verificadas como parte del proceso de revisión gubernamental.

Esa lógica regulatoria —restringir primero, evaluar después— es exactamente lo que Thompson critica. Su propuesta: abrir los programas, garantizar acceso responsable y responsabilizar a quienes abusen de las herramientas. No endurecer más los filtros.

"Hay una gran tormenta que se avecina. Una gran ola de ataques que va a ocurrir a una velocidad y escala nunca antes vistas", advirtió Thompson. "Pero las mismas firmas de consultoría legítimas y los investigadores que intentan marcar la diferencia están siendo sofocados ahora mismo."

La pregunta que queda abierta es incómoda: ¿quién gana la carrera de la IA en ciberseguridad si los mejores defensores no pueden usar las mejores herramientas?