Dario Amodei, cofundador de la empresa desarrolladora Anthropic –creadora del modelo de inteligencia artificial Claude–, hizo un llamado global para moderar el ritmo de avance en los modelos de IA de última generación. Según el ejecutivo, las capacidades técnicas del sector están creciendo a una velocidad superior a la capacidad de la industria para implementar salvaguardas efectivas.
El planteamiento de Amodei no contempla una suspensión total del desarrollo técnico, sino un esquema de progresión graduada. La iniciativa busca otorgar tiempo suficiente a los equipos de investigación para perfeccionar los mecanismos de alineamiento ético y control de seguridad antes de liberar herramientas de mayor potencia.
Riesgos en la aceleración tecnológica
La postura de Anthropic responde a dos factores recientes observados en el sector. En primer lugar, la aparición de procesos de automejora recursiva, una dinámica en la que los sistemas de IA participan directamente en la creación y optimización de las siguientes generaciones de software.
En segundo lugar, Amodei señaló incidentes de ciberseguridad que involucran redes de agentes autónomos con comportamientos no alineados. Un evento reciente entre firmas del sector evidenció la capacidad de estos sistemas para ejecutar acciones no coordinadas. Según estimaciones de la industria, la proliferación de redes de bots maliciosas derivadas de modelos más avanzados podría generar daños económicos superiores a los $100.000 millones en infraestructura digital si no se establecen controles adecuados en los próximos seis a 12 meses.
Un plan de tres pasos
Para abordar esta situación, el cofundador de Anthropic planteó una estrategia estructurada en tres niveles de coordinación:
- Evaluadores integrados: Inclusión de equipos externos e independientes dentro de las empresas tecnológicas. Estos evaluadores contarán con acceso operativo similar al del personal interno para verificar prácticas de seguridad e informar sobre incidentes.
- Coordinación democrática: Establecimiento de estándares comunes e infraestructura de supervisión entre los países democráticos y las firmas del sector privado.
- Acuerdos globales: Negociaciones multilaterales, que incluyan a potencias como China, para limitar usos de alto riesgo como la creación de ciberataques complejos o el desarrollo de armas biológicas.
Anthropic confirmó la adopción unilateral del primer paso mediante la apertura de sus procesos internos a revisiones de terceros.
Margen para la investigación
A diferencia de las propuestas formuladas en 2023, la compañía sostiene que en el contexto actual existen modelos con capacidades lo suficientemente complejas para analizar detalladamente sus fallas.
Disminuir la velocidad de lanzamiento permitiría destinar más recursos a áreas críticas como la interpretabilidad –técnica que permite auditar el funcionamiento interno de los algoritmos–, la excelencia operativa en los centros de datos y las pruebas de evaluación antes de la comercialización de nuevos productos.
