¿Quién es responsable cuando la IA mata?

En marzo de 2018, un coche autónomo de Uber mató a Elaine Herzberg en Tempe, Arizona. Cruzaba la calle empujando su bicicleta. Los sensores del coche la detectaron seis segundos antes del impacto, y el software la clasificó primero como objeto desconocido, luego como vehículo y después como bicicleta. En ningún momento llegó a la conclusión de que era una persona cruzando la calle. El coche nunca frenó.

¿Quién era el responsable? ¿La conductora de respaldo, que iba mirando vídeos en el móvil? ¿Uber, que había desactivado el sistema de frenado de emergencia que el coche traía de fábrica? ¿Los ingenieros que escribieron el software de percepción? ¿Los directivos que decidieron empezar las pruebas antes de que el sistema estuviera listo?

La fiscalía imputó a la conductora un homicidio imprudente. Uber indemnizó a la familia mediante un acuerdo extrajudicial, y la fiscalía no presentó cargos contra nadie de la empresa. El software, por supuesto, no era sujeto de derecho: a un programa no se le imputa nada. La investigación oficial del accidente acabó señalando fallos sistémicos.

Este caso ilustra lo que yo llamo la brecha de responsabilidad. Cuanto más autónomos son los sistemas de IA, más difícil resulta localizar la responsabilidad en un solo ser humano, y nuestras leyes no están hechas para esto.

El problema de la difusión

La responsabilidad civil de toda la vida funciona porque podemos seguir una cadena de causas hasta llegar a una decisión humana: alguien diseñó el producto, otro lo fabricó y un tercero lo vendió, y cuando algo sale mal recorremos la cadena hacia atrás.

La IA lo complica por dos lados. Para empezar, la «decisión» que causa el daño suele surgir de millones de conexiones ponderadas dentro de una red neuronal. Nadie escribió la regla que clasificó a Elaine Herzberg como objeto desconocido: el sistema aprendió ese patrón de los datos de entrenamiento, por vías que ni siquiera sus creadores son capaces de explicar por completo.

Además, los sistemas modernos de IA están hechos de capas y capas de componentes, cada uno desarrollado por un equipo distinto, entrenado con datos distintos e integrado en sistemas mayores que nadie entiende del todo. Cuanto más autónomo es el sistema, más repartida está la responsabilidad.

Piensa en una IA médica que recomienda el tratamiento equivocado. ¿El error estaba en los datos de entrenamiento, que venían de miles de hospitales? ¿En la arquitectura del modelo, diseñada por un equipo de investigación? ¿En el código de integración, que escribieron unos contratistas? ¿En la decisión del hospital de implantarlo? ¿En el médico que aceptó la recomendación? A ver quién encuentra un jurado capaz de aclarar todo eso.

La paradoja de la automatización

Ahí está la verdadera dificultad, y es filosófica además de jurídica. Automatizamos precisamente para quitar de en medio el juicio humano; de eso se trata. Un sistema que necesita supervisión humana en cada paso no es autónomo de verdad.

Pero toda nuestra idea de la responsabilidad, la moral y la jurídica, descansa sobre el juicio humano. Castigamos a las personas por tomar malas decisiones y hacemos responder a las empresas por sus productos defectuosos. Ninguno de los dos marcos encaja con un sistema que toma sus propias decisiones de maneras que no le hemos especificado y que no acabamos de entender.

Esto ya está pasando. Hay ejércitos desplegando armas autónomas en sus guerras, sistemas de negociación algorítmica que toman decisiones que mueven los mercados y sistemas de recomendación de contenidos que moldean el debate político. Y lo que hay en juego es ya la vida o la muerte de gente concreta.

Las falsas soluciones de hoy

Las respuestas de manual a este problema no funcionan.

«Que responda la empresa» suena razonable hasta que caes en la cuenta de que las empresas son, ellas mismas, una difusión de responsabilidades. Los consejeros delegados no diseñan algoritmos, los ingenieros no deciden qué se despliega y los consejos de administración no revisan código. La responsabilidad civil colectiva acaba siendo un coste más de la actividad, y no un mecanismo para evitar daños.

«Que haya supervisión humana» es el planteamiento regulador más habitual: que siempre haya una persona vigilando. Pero la investigación sobre automatización muestra que las personas supervisamos fatal los sistemas en los que nos han enseñado a confiar. La conductora de respaldo de Uber no estaba atenta por la sencilla razón de que había aprendido que el coche, casi siempre, se ocupa de todo, y eso, más que un fallo de carácter de una persona, es la consecuencia previsible de automatizar.

«Pues no despleguemos sistemas que no sepamos explicar» resolvería el problema, a costa de no desplegar IA, sin más. Los sistemas más capaces son, cómo no, los que funcionan de maneras que no podemos rastrear por completo, así que explicación y capacidad están, por ahora, reñidas.

Otro planteamiento

Creo que la pregunta que nos conviene ya no es «¿quién es responsable?», sino «¿cómo creamos responsabilidad?». La brecha de responsabilidad existe porque buscamos una responsabilidad ya existente en vez de inventarla.

Una vía sería tratar a los sistemas de IA lo bastante autónomos como una nueva categoría de sujeto de derecho. No exactamente una persona, pero sí algo: una entidad que puede ser parte en un contrato, que puede tener un seguro, que puede ser «castigada» mediante modificación forzosa o desconexión definitiva. Suena raro, pero tiene precedentes. Las sociedades mercantiles son sujetos de derecho sin consciencia, y un buque puede responder de los daños que causa según el derecho marítimo.

Otra vía: pasar de la responsabilidad civil individual a exigencias sistémicas. En vez de preguntar de quién es la culpa cuando el daño ya está hecho, imponer prácticas de seguridad concretas antes del despliegue: protocolos de prueba, seguros mínimos, evaluaciones de impacto. Que sea más difícil desplegar un sistema inseguro, en lugar de intentar repartir culpas cuando ya ha causado daños.

Y cabría también crear instituciones nuevas, pensadas a propósito para la rendición de cuentas en IA: organismos reguladores con conocimientos técnicos, con poder para investigar los fallos y ordenar correcciones. Algo como la agencia de aviación civil estadounidense, pero para la IA. No sería perfecto, pero sí mejor que dejar la responsabilidad desperdigada entre una docena de jurisdicciones que se pisan unas a otras.

Elaine Herzberg seguiría viva si en Uber hubieran tomado otras decisiones. Pero a la justicia le costó determinar qué decisiones contaban, quién las había tomado y en qué orden. La decisión fatal la tomó el software del coche, y con la ley vigente al software no se le pueden pedir cuentas. Cada una de las personas implicadas era responsable en parte, lo que significaba que ninguna lo era del todo. Falló el sistema entero, y los sistemas no van a la cárcel.

Vamos a ver muchos más casos como este. La tecnología va por delante de nuestra capacidad de asignar responsabilidades por lo que hace, y creer que podemos arreglarlo pidiéndoles cuentas a personas concretas por el comportamiento emergente de una máquina es una ficción reconfortante que no sobrevivirá al contacto con la realidad.

La pregunta de verdad no es quién es responsable hoy, sino qué clase de responsabilidad vamos a inventar para un mundo en el que las máquinas toman decisiones con consecuencias reales. Y el tiempo para averiguarlo se nos acaba.

Fuentes

National Transportation Safety Board. (2019). Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian (HWY18MH010). NTSB. ntsb.gov

Dafoe, A. (2018). «AI Governance: A Research Agenda». Future of Humanity Institute, Universidad de Oxford. fhi.ox.ac.uk

Calo, R. (2017). «Artificial Intelligence Policy: A Primer and Roadmap». UC Davis Law Review, 51, 399.

Human Rights Watch. (2012). Losing Humanity: The Case Against Killer Robots. Human Rights Watch. hrw.org

del Puerto, J. & Molina, R. (2025). War and AI: The Algorithmic Battlefield. Kwalia Books. ISBN 978-1-917717-14-4