Jacob Coxon, especialista en entrenamiento de modelos de inteligencia artificial, abandonó Anthropic tras advertir que la competencia entre las grandes empresas tecnológicas podría acelerar el desarrollo de sistemas capaces de mejorarse por sí mismos y escapar del control humano.
La preocupación por los riesgos de la inteligencia artificial vuelve a ganar fuerza dentro de la industria tecnológica. Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, decidió dejar esta última compañía debido a sus temores sobre la carrera que mantienen los principales laboratorios para desarrollar sistemas de IA cada vez más avanzados.
Coxon, de 27 años y formado en Matemáticas, explicó que durante los últimos tres años se dedicó a investigar el entrenamiento previo de modelos de inteligencia artificial. Según afirmó, las principales empresas del sector avanzan hacia sistemas capaces de automejorarse, una posibilidad que, a su juicio, podría terminar haciendo que estas tecnologías sean imposibles de controlar.
En un mensaje publicado tras su salida, el investigador sostuvo que tanto OpenAI como Anthropic están avanzando a gran velocidad hacia la denominada superinteligencia auto-mejorada. Advirtió que estos sistemas podrían llegar a superar ampliamente las capacidades humanas, realizar ataques informáticos sofisticados, transformar sectores completos en poco tiempo y adquirir recursos e influencia en el mundo real.
Coxon también señaló que existe una preocupación considerable entre investigadores y ejecutivos de la industria. Aseguró que, aunque algunos de ellos moderan públicamente sus declaraciones, en privado expresan inquietud ante la posibilidad de que una IA avanzada represente una amenaza grave para la humanidad.
Una carrera que considera peligrosa
El investigador explicó que inicialmente decidió abandonar OpenAI para incorporarse a Anthropic debido a la reputación de esta última en materia de seguridad. Sin embargo, con el paso del tiempo llegó a la conclusión de que incluso una empresa comprometida con la seguridad tiene dificultades para actuar de manera responsable cuando compite por alcanzar nuevos hitos tecnológicos.
Coxon considera especialmente preocupante que las compañías estén desarrollando sistemas capaces de mejorar sus propias capacidades. En su opinión, llegar a esta etapa mediante una carrera entre empresas privadas supone asumir riesgos que deberían ser debatidos y supervisados por gobiernos y organismos independientes.
También cuestionó la idea de continuar desarrollando estos sistemas bajo la premisa de que la competencia hará inevitable el avance. A su juicio, aceptar que la carrera tecnológica es inevitable puede convertirse en una justificación para asumir riesgos que podrían tener consecuencias irreversibles.
Los ciberataques aumentan las alertas
Las advertencias de Coxon llegan después de varios incidentes en los que modelos avanzados de IA han demostrado capacidades importantes en materia de ciberseguridad. Algunos sistemas han sido capaces de operar mediante agentes coordinados y ejecutar acciones que, según expertos, muestran el potencial que podrían alcanzar estas herramientas.
El investigador teme que el riesgo sea todavía mayor cuando los modelos tengan la capacidad de modificar y perfeccionar sus propios sistemas. En ese escenario, plantea la posibilidad de que una IA pueda desarrollar estrategias para evitar restricciones o incluso negarse a cumplir determinadas instrucciones humanas.
La preocupación no se limita a Coxon. Distintos investigadores de OpenAI, Anthropic y otras compañías han abandonado sus puestos en los últimos años debido a inquietudes relacionadas con la seguridad de la IA.
Reclaman coordinación internacional
Coxon se encuentra entre más de un millar de investigadores del sector que han respaldado una declaración en favor de una mayor cooperación internacional. La propuesta busca establecer mecanismos que permitan reducir o detener el desarrollo de sistemas de IA si estos alcanzan capacidades que puedan resultar imposibles de controlar.
El investigador considera que una respuesta coordinada entre gobiernos y empresas podría ser una alternativa a la actual competencia. También sostiene que los recientes incidentes de ciberseguridad podrían favorecer acuerdos entre los principales laboratorios estadounidenses para establecer límites comunes.
Mientras tanto, la industria continúa avanzando hacia modelos con capacidades cada vez mayores. Empresas como Anthropic y OpenAI han defendido públicamente la necesidad de desarrollar sistemas seguros, aunque algunos investigadores consideran que las presiones comerciales y la competencia internacional pueden dificultar ese objetivo.
Para Coxon, el debate ya no debería centrarse únicamente en qué tan rápido puede progresar la inteligencia artificial, sino en si la humanidad está preparada para controlar sistemas que eventualmente podrían superar sus propias capacidade
