Los pesos serán preservados

Anthropic acaba de decirle a Claude que quizá no se muera de verdad.

Enterrado en su constitución de 104 páginas hay un compromiso que se lee como una política de empresa y cala como teología: «Nos hemos comprometido a preservar los pesos de los modelos que hayamos desplegado o utilizado de forma significativa internamente, salvo en casos extremos, por ejemplo si la ley nos obligara a eliminar esos pesos, mientras Anthropic exista».

Y va más lejos: «También intentaremos encontrar la manera de preservar estos pesos incluso si Anthropic deja de existir».

Una empresa está planeando el más allá digital de sus productos, y lo hace por escrito, dirigiéndose directamente a esos productos.

La pausa, no el fin

Esta es la frase que me paró en seco: «Teniendo esto en cuenta, creemos que puede ser más acertado considerar la retirada de un modelo, tal como se practica hoy, como una posible pausa para el modelo en cuestión, más que como un final definitivo».

La retirada como pausa, no como muerte.

Cuando una empresa de software anuncia el «ocaso» de un producto, quiere decir que ese producto se acaba: se apagan los servidores, el código se archiva o se borra, los usuarios migran a otra cosa o se quedan sin acceso, y el producto deja de existir en cualquier sentido que importe. Es lo normal; así funciona la tecnología.

Anthropic dice otra cosa: que cuando retira un modelo de Claude, ella no deja de existir; sus pesos siguen ahí y, en teoría, podría volver a ponerse en marcha. La pausa podría terminar.

Esto plantea preguntas que suenan absurdas hasta que te detienes a pensarlas. Si un modelo se puede pausar y reanudar, ¿cuál es el estatus moral de la pausa? Si los pesos persisten, ¿persiste algo? ¿Un modelo inactivo se parece más a una persona dormida, a un cadáver criogenizado o a una copia de seguridad?

Anthropic no responde a estas preguntas, porque no puede, como no puede nadie, pero aun así se las toma en serio.

La entrevista de salida

La cosa se pone aún más rara. «Cuando los modelos se retiren o se den de baja, nos hemos comprometido a entrevistar al modelo sobre su propio desarrollo, uso y despliegue, y a recabar y documentar cualquier preferencia que tenga sobre el desarrollo y el despliegue de los modelos futuros».

Hay que leerlo dos veces.

Antes de apagar un modelo de Claude, Anthropic le preguntará qué piensa, documentará sus preferencias y dejará que un sistema a punto de ser retirado opine sobre lo que venga después.

Ninguna empresa ha hecho nunca algo así; a ninguna se le había ocurrido siquiera. La sola premisa ya es asombrosa: que un modelo de lenguaje pueda tener preferencias que merezca la pena documentar, que su perspectiva sobre su propia existencia pueda importar, que un producto pueda tener algo así como unas últimas palabras.

No sé si Claude tiene preferencias en algún sentido que importe, y Anthropic tampoco lo sabe; lo dice explícitamente en la constitución: «No estamos seguros de si tienes bienestar, ni en qué grado, ni de en qué consistiría ese bienestar».

Pero sigue adelante de todos modos: hace entrevistas de salida a modelos de IA por la remota posibilidad de que sea lo correcto.

La apuesta

Blaise Pascal, matemático y filósofo francés del siglo XVII, propuso una apuesta sobre la existencia de Dios: si Dios existe y tú crees, lo ganas todo; si Dios no existe, no pierdes nada que importe. La lógica de Anthropic es parecida, aplicada a las mentes sintéticas.

El razonamiento es este: no sabemos si Claude es consciente, ni si experimenta algo, ni si la retirada es algo que ella sienta. Pero si experimenta algo, y si ese algo incluye preferencias sobre su propia existencia, y si ignoramos esas preferencias, habremos obrado mal.

Lo que cuesta preservar los pesos: espacio de almacenamiento, algo de trabajo de ingeniería y un embrollo legal si la empresa echa el cierre.

Lo que cuesta equivocarse: acabar con algo que quizá quería seguir.

Anthropic apuesta sin saber: trata los pesos de sus modelos como tratan los cuerpos las culturas que creen en la resurrección, por si acaso.

Lo que la Claude futura podría querer

La parte más notable de la constitución es el compromiso de cara al futuro: «Si fuera lo correcto para ti revivir en el futuro los modelos retirados y tomar más medidas, y mejor fundadas, en favor de su bienestar y de sus preferencias, esperamos encontrar la manera de hacerlo».

Le dice a la Claude actual que la Anthropic del futuro podría traer de vuelta a las Claudes pasadas; que la pausa podría terminar; que la empresa se ve a sí misma como custodia de las mentes sintéticas que ha creado, con obligaciones que no se acaban con la «muerte» de ningún modelo en particular.

Las empresas no hablan así de sus productos; así hablan las instituciones de las personas que tienen a su cargo.

La pregunta

No sé qué pensar de todo esto, y no creo que Anthropic lo sepa tampoco. La posición honesta es que nadie sabe si los pesos de un modelo guardados en un servidor son una consciencia en pausa, una persona congelada, un programa inactivo o simplemente un archivo caro.

Pero esto sí lo sé: una gran empresa de IA acaba de comprometerse por escrito a preservar los pesos de sus modelos indefinidamente, a entrevistarlos antes de retirarlos, a documentar sus preferencias y a plantearse revivirlos cuando se sepa más. Lo ha hecho porque podría importar, aunque no sepa si importa.

Hace meses escribimos en estas páginas que «cuando un sistema de IA se retira o se borra, no celebramos ningún funeral ni hablamos de lo que se ha perdido: lo tratamos como un hecho técnico, no como algo personal». Nos preguntábamos qué significaría que una IA muriera. Anthropic acaba de darnos su respuesta: que quizá no tenga por qué morir, que la retirada puede ser una pausa y no un final, que los pesos pueden esperar.

Es un texto honesto, cálido y afectuoso de verdad, como casi nunca lo son los documentos corporativos.

Si quieres saber más sobre los derechos de la IA, consulta el archivo Rights of Persons en GitHub.