El matemático y divulgador Carlo Martinucci nos invita a leer con preocupación, pero sin catastrofismo, las alarmas que provienen de los propios protagonistas de la inteligencia artificial. Observa que la carrera entre empresas y potencias mundiales corre el riesgo de impulsar el desarrollo más rápido que nuestra capacidad para gobernarlo. «Magnifica humanitas» de León XIV ofrece una clave: salvaguardar el control humano sin renunciar a las oportunidades de la tecnología
(vaticannews.va/it).-Un grupo de inteligencias artificiales que sale de la valla digital se prepara para contenerlo y logra penetrar en sistemas informáticos reales. Un investigador antrópico que deja la empresa acusando a grandes laboratorios de «apostar por nuestras vidas». La alta dirección de las mismas empresas que desarrolla los modelos más avanzados y pide que ralentice su funcionamiento. En segundo plano, la competencia tecnológica entre Estados Unidos y China corre el riesgo de convertir cualquier cautela en una desventaja estratégica. En las últimas semanas, las noticias sobre inteligencia artificial parecen formar el panorama de una tecnología que se acelera mientras quienes la construyen empiezan a preguntarse con mayor insistencia dónde están los frenos. Pero entre el catastrofismo y la confianza ciega en el progreso existe un espacio más difícil y fructífero: el del discernimiento.
Aquí es donde se sitúa la reflexión de Carlo Martinucci, matemático y divulgador, cofundador de Unbubble News y animador de Unbubble Hub, una iniciativa de investigación abierta contra la desinformación y la polarización. Para Martinucci, las alarmas que provienen del mundo de la IA no significan que la investigación deba detenerse, sino que deben crearse las condiciones necesarias para gobernar su desarrollo.
Construcción de los frenos
En el verano de 2026, recuerda Martinucci, más de 1.300 empleados de empresas que trabajan en modelos de frontera se unieron al llamado Pacing the Frontier. «Piden no que lo paren todo, sino que pongan en marcha las medidas necesarias para poder hacerlo. Es decir, no para detenerlo todo ahora, sino una especie de construcción de mejores frenos». Por tanto, la cuestión no sería un contraste entre progreso e inmovilidad. El problema es la rapidez con la que la competencia económica y geopolítica empuja hacia sistemas cada vez más poderosos sin las herramientas para entenderlos y controlarlos y crecer al mismo ritmo. Esta es la misma preocupación que ha surgido en las últimas semanas, en palabras de Dario Amodei, fundador y CEO de Anthropic, quien ha pedido ralentizar el ritmo de desarrollo de las capacidades del modelo para dejar más espacio para pruebas, seguridad y controles. Uno de los caminos ya seguidos es el de los «evaluadores integrados»: evaluadores independientes situados en laboratorios con acceso similar al de los empleados, llamados a examinar modelos y sistemas de seguridad. Martinucci acoge con satisfacción este principio de transparencia, pero advierte sobre el riesgo del «lavado de seguridad»: medidas que podrían derivar en certificaciones de fachadas. Por esta razón, subraya, será necesario verificar que el control externo es realmente independiente.
La IA «cultivada» en lugar de «construida»
Los peligros, para Martinucci, no pertenecen solo a un futuro hipotético. Ya existe desinformación, ciberataques, vigilancia y el uso de IA en infraestructuras y sistemas críticos. Pero sería erróneo contrastar estos riesgos inmediatos con los relacionados con la futura evolución de los modelos. En este sentido, el matemático recuerda el número 98 de la Magnifica humanitas de León XIV: «Las inteligencias artificiales modernas son en realidad más ‘cultivadas’ que ‘construidas’: los desarrolladores no diseñan directamente cada detalle, sino que crean una arquitectura sobre la que la IA ‘crece'». Y la Encíclica añade que «aspectos científicos fundamentales —como las representaciones internas y los procesos computacionales de estos sistemas— siguen siendo desconocidos por la actualidad.» Es un pasaje que Martinucci considera particularmente preciso: «El concepto clave es que ahora mismo no podemos controlar lo que la inteligencia artificial puede hacer y puede convertirse, porque está más cultivada que construida». El tema, entonces, vuelve a ser el que indica León XIV en el número 200, hablando de armas autónomas: la elección de usar fuerza letal «debe permanecer bajo control humano efectivo, consciente y responsable». Un principio que, según Martinucci, puede iluminar la relación con sistemas de IA cada vez más avanzados en general.
No una salvación, sino una herramienta
Sin embargo, la precaución no significa negar los beneficios de la inteligencia artificial. Martinucci menciona la medicina, la inclusión de personas con discapacidad y la comunicación: «Hay muchas áreas en las que puede utilizarse para mejorar y aumentar nuestras posibilidades y capacidades». La investigación matemática en sí misma ofrece ejemplos sorprendentes. El pasado mayo, un sistema de IA contribuyó a la solución de un problema geométrico planteado hace ochenta años por Paul Erdős; en septiembre se reavivó el debate en torno al problema de Navier-Stokes, con resultados obtenidos mediante el uso masivo de agentes artificiales y con un debate, aún abierto, sobre la relación entre la contribución humana y la capacidad de la máquina. Para Martinucci, la cuestión no es elegir entre entusiasmo y miedo. Evita atribuir una función salvadora a la tecnología: «No podemos pensar en la inteligencia artificial como un sustituto, una forma de producir el cielo en la tierra. No es una salvación que venga del cielo a la que podamos confiar todas nuestras esperanzas y todo nuestro futuro.» Más bien, el mismo principio de prudencia que acompaña a otras áreas de investigación debería aplicarse a la IA. Un fármaco se estudia y controla no porque uno esté en contra de la medicina, sino precisamente porque se quiere que el progreso produzca beneficios genuinos. De manera similar, señala, «la perspectiva positiva debe equilibrarse con los riesgos en una evaluación prudencial.»
Christopher Olah, cofundador de Anthropic, en la presentación de la Magnifica humanitas en el Vaticano (MEDIA VATICANO)
Una responsabilidad que concierne a todos
Lo que dificulta este equilibrio es la competencia entre Estados Unidos y China. Martinucci recuerda las palabras pronunciadas por Chris Olah, cofundador de Anthropic y uno de los principales expertos en la interpretabilidad de sistemas de IA, con motivo de la presentación de la Magnifica humanitas. Olah reconoció que los laboratorios fronterizos están sometidos a presiones comerciales y geopolíticas, e incluso a las presiones más antiguas del «orgullo» y la «ambición». Para Martinucci es significativo que tal llamado provenga de dentro de la industria: significa reconocer que ningún laboratorio puede gobernar una transformación de esta magnitud por sí solo. Necesitamos empresas, gobiernos, la comunidad científica, organizaciones internacionales, la sociedad civil. Pero también los ciudadanos. «No podemos ignorar el fenómeno y pensar que siempre son los demás quienes deben gobernarlo», dice. Y la primera responsabilidad quizá sea comprender: no dejarse seducir por la propaganda tecnológica, pero tampoco quedar paralizados por el miedo.
El riesgo, concluye Martinucci, es que un fenómeno complejo se reduzca a dos caricaturas opuestas: por un lado, el catastrofismo, y por otro, una lectura «solo y exclusivamente en una clave de marketing». Ambos nos impiden ver la realidad. «Aún queda mucho por hacer», observa, pero el creciente interés de la opinión pública puede convertirse en «una excelente oportunidad para interesarse por ella y no simplemente sufrirla.» Quizá aquí sea donde pasa la frontera decisiva. No entre quienes están a favor o en contra de la inteligencia artificial, sino entre quienes aceptan sufrir pasivamente su raza y quienes intentan orientarla. Porque construir frenos no significa renunciar al viaje. Significa asegurarse de que, a medida que las máquinas aprenden a hacer más y más cosas, los seres humanos no renuncien a la responsabilidad de elegir juntos la dirección.
