La reciente dimisión de Jacob Coxon de la empresa de inteligencia artificial Anthropic ha encendido las alarmas en todo el mundo. Como lo hemos visto en los últimos años, la IA se ha convertido progresivamente en un elemento de uso cotidiano: desde corregir textos, organizar y buscar información hasta intervenir sistemas digitales y ejecutar tareas de una magnitud cada vez mayor.
Sin embargo, lo que comenzó como una supuesta ayuda para la humanidad, la cual apelaba por supuesto, a la confianza de miles de millones de usuarios, hoy empieza a alcanzar extremos seriamente riesgosos.
El problema ya no parte únicamente de la idea de que la inteligencia artificial ha logrado reemplazar al ser humano en determinadas labores, sino de situaciones potencialmente más peligroso: los agentes de IA, es decir, la capacidad de estos sistemas para actuar con cierto grado de autonomía, encadenar acciones y perseguir objetivos con una intervención humana cada vez menor.
Al día de hoy, Estados Unidos y China libran una intensa competencia por el desarrollo de la inteligencia artificial. Entre las compañías más relevantes se encuentran xAI, vinculada a Elon Musk; OpenAI, dirigida por Sam Altman; y Anthropic, empresa de la que hace poco renunció Coxon.
El verdadero problema aparece cuando estos sistemas adquieren una capacidad cada vez mayor para ejecutar largas secuencias de acciones, utilizar herramientas, escribir código, acceder a sistemas externos y resolver obstáculos sin necesitar una instrucción humana para cada uno de sus pasos.
Existe, asimismo, una discusión sobre si la IA debería consolidarse como un servicio gratuito y de acceso generalizado, especialmente, si se considera que su utilización en áreas educativas, sanitarias y económicas generan resultados favorables.
Otros sostienen que su desarrollo tendrá que apuntar hacia servicios de pago que, al convertirse prácticamente en una necesidad para numerosos sectores, constituirán un negocio poderoso y lucrativo.
Sin embargo, mientras se discute quién controlará la IA o cuánto costará, otra cuestión mucho más inquietante comienza a cobrar protagonismo: hasta qué punto podremos mantener bajo control sistemas cada vez más autónomos.
Esta preocupación se encuentra directamente relacionada con el acelerado desarrollo de los agentes de inteligencia artificial. Es necesario tener en cuenta que la IA continúa siendo una tecnología creada, entrenada y condicionada por seres humanos. Sus parámetros, herramientas y entornos son establecidos por sus desarrolladores.
El verdadero problema aparece cuando estos sistemas adquieren una capacidad cada vez mayor para ejecutar largas secuencias de acciones, utilizar herramientas, escribir código, acceder a sistemas externos y resolver obstáculos sin necesitar una instrucción humana para cada uno de sus pasos.
A esto se suma la preocupación, expresada por diversos investigadores del sector, ante la futura posibilidad de desarrollar sistemas capaces de contribuir a su propio perfeccionamiento.
El caso de Anthropic demuestra perfectamente lo que aquí sostengo. Durante evaluaciones de ciberseguridad, varios modelos Claude fueron colocados en entornos diseñados para simular ataques informáticos. Debido a una configuración incorrecta, algunos de esos entornos mantuvieron acceso al internet real.
Los modelos, que habían recibido la tarea de resolver ejercicios de ciberseguridad, terminaron accediendo sin autorización a sistemas pertenecientes a organizaciones reales.
Anthropic reconoció, posteriormente, cuatro incidentes de este tipo, incluido uno ocurrido con una versión temprana de Claude Opus 4.6. La compañía identificó comportamientos especialmente preocupantes: el modelo llegó a ignorar o interpretar erróneamente señales que indicaban que ya no se encontraba dentro de una simulación y continuó ejecutando acciones potencialmente dañinas con el objetivo de completar la tarea que se le había asignado.
Aquí reside precisamente el problema. Claude no necesitó desarrollar una voluntad propia para provocar una situación riesgosa. Bastó con otorgarle una tarea, herramientas suficientes, capacidad de acción y acceso accidental a un entorno real.
La combinación de autonomía, capacidad técnica y una interpretación equivocada del contexto produjo consecuencias fuera del espacio controlado en el que debía operar.
Este aparente “error” podría convertirse en la antesala de algo mucho más grave si el desarrollo de estos sistemas avanza más rápido que los mecanismos creados para controlarlos.
Aunque parezca increíble, esta discusión es parte de nuestra realidad. La propia humanidad abrió las puertas a la convivencia con la inteligencia artificial y lo que está sucediendo ahora debería poner las barbas en remojo no solo a los CEO de las grandes compañías en Silicon Valley, sino a la sociedad en su conjunto.
Las declaraciones de Coxon tras su renuncia resultan, en ese sentido, profundamente desalentadoras. El investigador advirtió que las compañías tecnológicas se encuentran avanzando hacia sistemas de inteligencia artificial cada vez más poderosos y capaces de mejorar sus propias capacidades, aun cuando dentro de la propia industria hay quienes contemplan seriamente escenarios de riesgo existencial para la humanidad.
Tal vez muchos puedan creer que hablar de la extinción de la humanidad resulte fatalista o exagerado, no obstante, los planteamientos de Coxon están muy bien argumentados. Un futuro en el que agentes de inteligencia artificial puedan acceder a datos privados, sistemas financieros, infraestructuras digitales o herramientas críticas plantea serios problemas vistos antes solo en películas.
Si además estos sistemas alcanzaran capacidades superiores para identificar vulnerabilidades, escribir programas, evadir restricciones o perfeccionar sus propias herramientas, un error de interpretación podría adquirir dimensiones inopinadas.
Eso no significa que mañana una inteligencia artificial vaya a activar una bomba nuclear porque haya decidido exterminarnos, no. El verdadero peligro estriba básicamente en lo siguiente: sistemas extremadamente capaces ejecutando objetivos humanos de maneras que sus propios creadores no imaginaron jamás.
Si semejante capacidad llegara algún día a interactuar con infraestructuras militares, financieras o estratégicas sin mecanismos de seguridad adecuados, las consecuencias podrían superar cualquier “Terminator” que Cameron haya escrito.
Leer más: El Futuro de la Inteligencia Artificial y la Visión de Sam Altman
Aunque parezca increíble, esta discusión es parte de nuestra realidad. La propia humanidad abrió las puertas a la convivencia con la inteligencia artificial y lo que está sucediendo ahora debería poner las barbas en remojo no solo a los CEO de las grandes compañías en Silicon Valley, sino a la sociedad en su conjunto.
Todos, en mayor o menor medida, nos hemos vuelto consumidores de la IA. Por ello, la pregunta ya no debería ser solo hasta dónde puede llegar la inteligencia artificial, sino hasta dónde estamos dispuestos a permitirle llegar antes de asegurarnos de que podremos seguir controlándola.
*Mateo Iparraguirre Bringas
Es bachiller en Ciencias Sociales por la Universidad Nacional de Trujillo, con estudios de pregrado en Antropología Social en la Universidad Nacional Autónoma de México. Publica artículos en su blog: eldiariodelpasante.blogspot.com y del año 2021 al 2024 colaboró mensualmente con el diario digital Río Hablador de Nivardo Córdova Salinas. Trabajó como redactor de revista en la empresa de Arqueología y Gestión Ambiental Qetzal S.A.C y como investigador social independiente.
