Quién es responsable cuando la IA mata?

Nadie, actualmente. Ese es el problema.

En marzo de 2018, un coche autonomo de Uber mato a Elaine Herzberg en Tempe, Arizona. Ella cruzaba la calle con su bicicleta. Los sensores del coche la detectaron seis segundos antes del impacto. El software la clasifico primero como un objeto desconocido, luego como un vehiculo, luego como una bicicleta. Nunca decidió que era una peatona. El coche nunca freno.

¿Quién fue responsable? La conductora de seguridad, que miraba videos en su teléfono? Uber, que habia desactivado el sistema de frenado de emergencia de fabrica del coche? Los ingenieros qué escribieron el software de percepcion? Los ejecutivos que decidieron lanzar las pruebas antes de que el sistema estuviera listo?

La conductora de seguridad fue acusada de homicidio por negligencia. Uber pago un acuerdo a la familia. Nadie en Uber enfrento cargos criminales. El software en si, por supuesto, no era sujeto legal en absoluto. La investigacion revelo fallos sistemicos.

Este caso ilustra lo que llamo la brecha de responsabilidad. A medida que los sistemas de IA se vuelven más autonomos, se hace más difícil localizar la responsabilidad en un solo ser humano. Y nuestros marcos legales no fueron construidos para esto.

El problema de la difusion

La responsabilidad tradicional funciona porque podemos trazar una cadena de causalidad hasta una decisión humana. Alguien diseño el producto. Alguien lo fabrico. Alguien lo vendio. Cuando algo sale mal, seguimos la cadena.

La IA complica esto de dos maneras. Primero, la "decisión" que causa daño a menudo emerge de millones de conexiones ponderadas en una red neuronal. Nadie escribió la regla que clasifico a Elaine Herzberg como un objeto desconocido. El sistema aprendió ese patron de los datos de entrenamiento, de maneras que ni siquiera sus creadores pueden explicar completamente.

Segundo, los sistemas de IA modernos se construyen a partir de capas de componentes, cada uno desarrollado por equipos diferentes, entrenados con datos diferentes, integrados en sistemas más grandes que nadie comprende completamente. ¿Cuánto más autonomo es el sistema, más distribuida esta la responsabilidad.

Quiero saber más sobre la ley de responsabilidad de la IA

Considera una IA médica que recomienda el tratamiento equivocado. El error estaba en los datos de entrenamiento, que vinieron de miles de hospitales? En la arquitectura del modelo, disenada por un equipo de investigacion? En el código de integracion, escrito por contratistas? En la decisión de implementacion del hospital? En el médico que acepto la recomendacion? Buena suerte encontrando un jurado que pueda aclarar eso.

La paradoja de la automatizacion

Esto es lo qué hace esto genuinamente difícil, no solo legalmente sino filosoficamente. Automatizamos precisamente porque queremos eliminar el juicio humano del proceso. Ese es el punto. Un sistema que requiere supervision humana en cada pasó no es realmente autonomo.

Pero todo nuestro concepto de responsabilidad moral y legal depende del juicio humano. Castigamos a las personas por tomar malas decisiones. Hacemos responsables a las empresas por productos defectuosos. Ninguno de estos marcos se ajusta a un sistema que toma sus propias decisiones de maneras que no especificamos y no entendemos completamente.

Esto ya no es hipotetico. Las armas autonomas se estan desplegando en conflictos. Los sistemas de trading algorítmico toman decisiones que mueven mercados. Los sistemas de recomendacion de contenido dan forma al discurso político. Lo qué está en juego ya es vida o muerte.

No-soluciones actuales

Las respuestas estandar a este problema no funcionan realmente.

"Hacer responsable a la empresa" suena razonable hasta que te das cuenta de que las empresas son en si mismas difusiones de responsabilidad. Los CEOs no disenan algoritmos. Los ingenieros no toman decisiones de despliegue. Los miembros del consejo no revisan código. La responsabilidad colectiva se convierte en un coste de hacer negocios, no en un mecanismo para prevenir daños.

"Requerir supervision humana" es el enfoque regulatorio más común. Mantener un humano en el proceso. Pero la investigacion sobre automatizacion muestra que los humanos son terribles supervisando sistemas en los que han sido entrenados para confiar. La conductora de seguridad de Uber no prestaba atención precisamente porque habia aprendido que el coche normalmente lo maneja todo. Eso no es un fallo de carácter individual. Es una consecuencia predecible de la automatizacion.

"Simplemente no desplegar sistemas que no podemos explicar" resolveria el problema, pero al coste de no desplegar IA en absoluto. Los sistemas más capaces son precisamente los que operan de maneras que no podemos rastrear completamente. La explicacion y la capacidad estan, por ahora, en tensión.

Un encuadre diferente

Creo que necesitamos dejar de preguntar "quién es responsable?" y empezar a preguntar "como creamos responsabilidad?" La brecha de responsabilidad existe porque buscamos responsabilidad existente en lugar de disenar nuevas formas de ella.

Un enfoque: tratar los sistemas de IA suficientemente autonomos como una nueva categoria de sujeto legal. No una persona, exactamente, pero algo. Una entidad que puede ser parte de contratos, que puede tener seguro, que puede ser "castigada" mediante modificacion obligatoria o terminacion. Esto suena extraño, pero no carece de precedente. Las corporaciones son sujetos legales sin consciencia. Los barcos pueden ser responsables de daños bajo el derecho maritimo.

Otro enfoque: cambiar de la responsabilidad individual a los requisitos sistemicos. En lugar de preguntar quien tiene la culpa después de que ocurre el daño, exigir practicas de seguridad especificas antes del despliegue. Requerir regímenes de prueba, minimos de seguro, evaluaciones de impacto. Hacer más difícil desplegar sistemas inseguros, en lugar de intentar asignar culpa después de que ya han causado daño.

Un tercer enfoque: crear nuevas instituciones disenadas específicamente para la responsabilidad de la IA. Organismos reguladores con experiencia técnica, facultados para investigar fallos y ordenar correcciones. Algo cómo la FAA, pero para la IA. No perfecto, pero mejor que dejar la responsabilidad dispersa en una docena de jurisdicciones superpuestas.

---

Elaine Herzberg todavía estaría viva si los humanos en Uber hubieran tomado decisiones diferentes. Pero el sistema legal lucho por identificar que decisiones importaban, tomadas por quien, en que secuencia. El software del coche tomó la decisión fatal, pero el software no puede ser responsabilizado bajo la ley actual. Los humanos involucrados eran cada uno parcialmente responsables, lo qué significaba que ninguno de ellos era completamente responsable. El sistema en su conjunto fallo, pero los sistemas no van a prision.

Vamos a ver más casos como este. Muchos más. La tecnología esta superando nuestra capacidad de asignar responsabilidad por lo qué hace. Y pretender que podemos resolver esto haciendo responsables a humanos individuales por el comportamiento emergente de las máquinas es una ficción reconfortante que no sobrevivira el contacto con la realidad.

La verdadera pregunta no es quién es responsable ahora. Es qué tipo de responsabilidad vamos a inventar para un mundo donde las máquinas toman decisiones con consecuencias. Y nos estamos quedando sin tiempo para averiguarlo.