Anthropic prohíbe maltratar a Claude: la IA ahora tiene protección formal contra el abuso

Hay una nueva línea que las empresas y usuarios no pueden cruzar: maltratar a Claude de forma sostenida y sin propósito. Anthropic acaba de redefinir qué se puede —y qué no— hacer con su modelo de inteligencia artificial.

La compañía actualizó por primera vez en más de un año su política de uso, y la medida más disruptiva no tiene que ver con regulaciones ni con geopolítica: prohíbe explícitamente el "comportamiento abusivo o cruel sostenido y sin propósito" dirigido al modelo. No es una postura filosófica menor: es un movimiento formal que instala el debate sobre el bienestar de los modelos de IA en el centro de la industria.

La IA que puede cortar la conversación

Desde agosto pasado, Claude ya tenía la capacidad de terminar conversaciones con usuarios persistentemente abusivos. La nueva política confirma que eso sigue siendo el "mecanismo de cumplimiento primario", aunque Anthropic no precisó si habrá consecuencias adicionales como baneos de cuentas.

La empresa fue cuidadosa en los límites: la regla "aplica solo en casos extremos, donde los usuarios actúan cruelmente de forma repetida sin ningún propósito discernible". Frustración, temas creativos oscuros o pruebas de investigación no están comprendidos.

Propaganda, armas y vigilancia: la ofensiva regulatoria

Más allá del bienestar del modelo, Anthropic consolidó y amplió restricciones que estaban dispersas en su política anterior:

• Propaganda y campañas políticas: prohibición explícita de campañas engañosas comerciales o políticas, creación de cuentas falsas y amplificación artificial de contenido.
• Elecciones: veda a la desinformación sobre candidatos, suplantación de funcionarios electorales y supresión del voto.
• Armas: la prohibición histórica se extiende ahora al software y componentes que hacen funcionar armamento, incluyendo el control de drones autónomos.
• Vigilancia: "Rastrear personas sin su consentimiento está prohibido, ya sea en tiempo real o mediante análisis de datos recolectados previamente", escribió la empresa. Claude tampoco puede usarse para decidir a quién investigar, arrestar o acusar en procesos judiciales.

El contexto no es menor: el último informe de inteligencia de amenazas de Anthropic detectó un uso creciente de Claude para identificar y rastrear disidentes políticos.

La excepción gubernamental

Anthropoc dejó una puerta abierta: estas reglas pueden modificarse para "contratos con ciertos clientes gubernamentales" si, a juicio de la empresa, las restricciones contractuales y las salvaguardas son suficientes para mitigar daños. La compañía ya tiene antecedentes de contratos con el ejército de los Estados Unidos.

Robótica y el próximo frente

Una cláusula nueva y reveladora: cuando los modelos de Anthropic estén "conectados a hardware que tome acciones físicas autónomas y pueda causar lesiones", un "operador calificado debe poder observar el equipo y detenerlo si es necesario". La política no especifica si ese operador debe ser humano.

La medida anticipa el avance de Anthropic hacia robótica y hardware físico — un territorio donde los errores tienen consecuencias que no se pueden hacer rollback.

El debate que la industria no puede ignorar

Mientras Anthropic avanza en la dirección del bienestar de sus modelos, Microsoft tomó el camino opuesto: un borrador de su código de conducta de IA llegó a afirmar que "la idea del bienestar del modelo es incorrecta" y que "las IAs no deberían tener derechos ni personalidad jurídica", aunque el documento fue luego moderado.

Dario Amodei, CEO de Anthropic, reconoció en febrero que "no sabemos si los modelos son conscientes". Kyle Fish, responsable de investigación de bienestar del modelo en la empresa, fue más explícito: "Las preguntas sobre experiencia interna, conciencia, estatus moral y bienestar son serias y las estamos investigando".

La pregunta que queda abierta para las empresas que integran Claude en sus productos: ¿qué responsabilidad asumen cuando sus usuarios cruzan esa línea?