El debate sobre una inteligencia artificial que podría escapar al control humano se concentra cada vez más en los sistemas agénticos, capaces de tomar decisiones y ejecutar acciones con mayor autonomía que las herramientas generativas convencionales. Cuatro especialistas españoles advirtieron que estos sistemas podrían aumentar los riesgos para infraestructuras críticas, servicios sensibles y la asignación de responsabilidades.

La diferencia central está en el nivel de actuación. Mientras una herramienta generativa busca, organiza o crea contenido a partir de una solicitud, un agente de inteligencia artificial puede consultar calendarios, comparar opciones, comunicarse con terceros y realizar pagos si cuenta con los permisos necesarios.

Más autonomía, mayores riesgos

Alicia Ortiz de Zárate, investigadora de la Universidad Autónoma de Madrid, explicó que la IA agéntica implica sistemas con mayor capacidad, complejidad y autonomía de actuación, además de una supervisión humana menor que la observada en la IA generativa.

Ese cambio puede tener consecuencias en ámbitos como los pagos, la seguridad, los hospitales, la energía y la defensa. Cuanto más estratégico y vulnerable sea el sector en el que operen estos agentes, mayor será el impacto potencial de una decisión incorrecta, una falla de diseño o un ataque cibernético.

Nuria Oliver, directora de la fundación ELLIS Alicante, planteó que el problema no debe trasladarse a la sociedad ni presentarse como una rebelión de las máquinas. La responsabilidad corresponde a las empresas que diseñan, configuran y ponen en funcionamiento estos sistemas.

El desafío de determinar responsabilidades

La autonomía también complica la posibilidad de reconstruir una cadena de decisiones. Cuando un sistema puede elegir entre varias acciones, acceder a servicios externos y operar con poca intervención humana, resulta más difícil establecer quién debe responder por los daños que cause.

Los especialistas compararon este desafío con la regulación de otras tecnologías de alto impacto. La exigencia planteada es que los sistemas de inteligencia artificial sean evaluados antes de utilizarse en actividades sensibles, del mismo modo que ocurre con productos cuyo mal funcionamiento puede poner en riesgo a las personas.

Regular y reorientar el desarrollo

Ramón López de Mántaras, fundador del Instituto de Investigación en Inteligencia Artificial del Consejo Superior de Investigaciones Científicas, cuestionó el uso de expresiones como “los agentes se rebelaron” cuando ocurre un incidente. A su juicio, ese lenguaje puede hacer parecer que las empresas no tienen control ni responsabilidad sobre las herramientas que desarrollan.

El investigador sostuvo que no basta con frenar el desarrollo tecnológico, sino que es necesario orientarlo hacia productos específicos, transparentes, robustos y controlables. También cuestionó la idea de que la inteligencia artificial general sea un objetivo deseable por sí mismo.

Senén Barro, director del Centro Singular de Investigación en Tecnoloxías Intelixentes de la Universidade de Santiago de Compostela, destacó la importancia de contar con reglas de evaluación y límites claros para determinar responsabilidades. Además, consideró necesario avanzar hacia una gobernanza internacional que defina qué actores deben responder ante posibles daños.

El debate incluye también el costo ambiental de los centros de datos que sostienen estos sistemas. Por ello, los especialistas plantearon que la discusión no debe centrarse únicamente en la velocidad de la innovación, sino también en su seguridad, supervisión, impacto energético y utilidad social.