En la conversación pública sobre el despliegue y empleabilidad de la inteligencia artificial, el principio de reserva de humanidad se repite como una salmodia estructural: las decisiones relevantes deben pasar por una persona, la supervisión humana es la garantía última y no se concibe un sistema de alto riesgo sin alguien que sangre y respire in/on the loop.
La insoportable tragedia de Urda introduce ahora en esa misma conversación la pregunta –con similar vehemencia que la empleada con el argumento anterior– de que cómo es posible que la seguridad de un sistema crítico descanse, en último término, en una persona potencialmente falible. Dos discursos que conviven, a veces en la misma boca, sin reconocerse.
La literatura sobre automatización conoce este patrón desde hace décadas. Lisanne Bainbridge lo llamó las “ironías de la automatización”. Cuanto más fiable es el sistema automático, mayores complejidades y dificultades se dejan en manos del último operador, permitiendo que la máquina gestione la normalidad, mientras que la persona asume lo excepcional, con menos práctica, bajo presión y con información degradada.
Una asimetría que se vuelve más incómoda si se observa con cierta atención lo que ocurrió esa mañana. Hay indicios de que otro de los trenes detenidos recibió la misma orden y fue su maquinista quien corrigió al centro de control de Atocha, señalando que no podía ser marcha normal sino marcha a la vista. Nótese que ahí la persona funcionó como barrera efectiva, como lo hizo, por cierto, el teniente coronel soviético Stanislav Petrov en la madrugada del 26 de septiembre de 1983, mientras estaba de guardia en el búnker de Serpukhov-15 vigilando el sistema satelital de alerta temprana Oko. El sistema alertó que Estados Unidos había lanzado un misil balístico intercontinental. El protocolo exigía informar de inmediato a la cadena de mando, y esa información podía contribuir a una decisión de represalia nuclear. Petrov comunicó que era una falsa alarma, como finalmente se verificó al haber interpretado los satélites como lanzamientos lo que en realidad era el reflejo del sol sobre nubes a gran altitud. El sistema falló y la persona lo detectó. Petrov aportó algo que el sistema no tenía: contexto, escepticismo calibrado y una pregunta que la máquina no se hacía ¿tiene sentido un ataque de esa índole?
La antropóloga Madeleine Clare Elish propuso la imagen de la “zona de deformación moral” (moral crumple zone). Igual que la parte deformable de un vehículo absorbe el impacto para proteger al habitáculo, en los sistemas automatizados la persona capilariza la responsabilidad moral y legal de un fallo cuyas causas, sin embargo, están en el diseño, el mantenimiento o la organización.
Y es entonces cuando la hemiplejia se convierte en algo más grave que una incoherencia retórica. Si se proclama que el humano es la última garantía, pero no se le dan las condiciones para serlo (protocolos claros, tiempo suficiente, información fiable, formación adecuada, margen para dudar), entonces la reserva de humanidad se convierte en una mera coartada formal que sirve para localizar la culpa en el punto más cercano al accidente y más lejano a las decisiones de inversión, formación o supervisión.
El principio de reserva de humanidad, bien entendido, no es ni mucho menos una promesa de infalibilidad, a pesar de que el debate mediático y social confunda y superponga al menos tres conceptos claramente diferenciables. En primer lugar, la responsabilidad de un sujeto ante la inviabilidad –actual– de formular ninguna clase de reproche a un algoritmo. En segundo término, la legitimidad, desde la premisa de que determinadas decisiones sobre vidas, derechos y libertades no deberían delegarse por completo, por más que la máquina acierte más. Y, finalmente, el temple, que capacita para improvisar ante lo no previsto, un argumento umbilicalmente vinculado a la seguridad, y que con Urda ha puesto a prueba. Confundir los tres produce el cortocircuito actual al invocarse la reserva de humanidad como argumento de seguridad cuando su fundamento es esencialmente ético y político, para después declarársela fallida cuando un ser humano yerra, como si hubiera garantizado lo que era imposible asegurar.
El maniqueísmo entre humano y máquina es un debate no sólo tosco, sino estéril. En sistemas críticos la seguridad es una propiedad del conjunto sociotécnico, no de ninguno de sus componentes. Ello implica diseñar para el fallo y no solo para la normalidad con procedimientos inequívocos, redundancias que no dependan de un único juicio, controles cruzados y automatismos que impidan lo irreversible incluso cuando la persona se equivoca. También implica reconocer que ninguna automatización elimina la necesidad de criterio humano, solo la desplaza.
Quien hoy exige apartar al humano de la cadena porque falla debería preguntarse qué mantiene en pie la cadena cuando el sistema automático cae, como cayó el dichoso LZB. Quien hoy exige más humanidad en el loop debería preguntarse si en realidad está pidiendo supervisión o simplemente un chivo expiatorio al que señalar.
La hemiplejia se cura con el diálogo entre los dos hemisferios. Ni lo humano puede ser garantía última por definición, ni es tampoco la tara que hay que extirpar. Es un componente más, con virtudes y límites conocidos, al que solo se puede exigir lo que el diseño le permite dar. Lo demás es retórica, y en Urda –y en Adamuz– el precio de la retórica huera se ha medido en centenares de vidas.