Anthropic afirmó que este año bloqueó a varios científicos que usaron su modelo de inteligencia artificial Claude para realizar investigaciones que podrían contribuir al desarrollo de armas biológicas, al detectar intentos de eludir controles y "ocultar el propósito" del trabajo para evadir sus salvaguardas, según un informe publicado este jueves.
La empresa dijo que no pudo determinar si esas investigaciones eran legítimas o maliciosas, al tratarse de un ámbito de doble uso, y que ante esa incertidumbre optó por la cautela.
"No se trata de un personaje de cómic que diga: 'Quiero crear un arma biológica para matar a todo el mundo'", declaró Jacob Klein, jefe de inteligencia de amenazas, señalando que se trata de "una situación increíblemente compleja".
Anthropic señaló que los científicos trataron de acceder desde regiones bloqueadas y que la compañía prohibió las cuentas asociadas. En un caso de mayo, un investigador pidió ayuda para una solicitud de financiación vinculada a experimentos con el virus chikungunya, incluyendo mutaciones para hacerlo más dañino en animales; Anthropic dijo que le preocupó, entre otras razones, que se realizara en un instituto militar.
El potencial de modelos de IA de vanguardia para facilitar el desarrollo de patógenos biológicos conocidos o completamente nuevos figura entre las mayores preocupaciones de expertos sobre una tecnología que avanza tan rápido que incluso algunos de sus principales artífices dudan de que pueda controlarse por completo.
En comparación con ciberataques catastróficos o agentes de IA que no se ajustan a las intenciones humanas, el mal uso biológico ha recibido menos atención como riesgo existencial, en parte porque los ejemplos previos suelen haberse mostrado en entornos de investigación y no en el mundo real.