Cuándo confiar en la IA (y cuándo no)

El mes pasado le pedí a una IA que me ayudara a escribir un correo a mi casero. Salió perfecto: claro, educado, con la formalidad justa, exactamente lo que necesitaba. Dos semanas después le pedí a esa misma IA que me explicara qué impuestos tendría que pagar por vender criptomonedas en mi país. Me dio una respuesta segura y detallada, y estaba equivocada de un modo que me habría costado miles de euros.

El problema es que la IA es inconsistente de un modo difícil de prever, y no que sea mala. A veces es asombrosamente buena y a veces falla en cosas que parecen elementales, y presenta las dos respuestas con idéntico aplomo, lo cual complica bastante distinguir la una de la otra.

Llevo un tiempo dándole vueltas a cuándo conviene fiarse de la IA y he llegado a algo parecido a un criterio. No es perfecto, pero es mejor que tratar igual todo lo que sale de una IA.

El problema del aplomo

Los sistemas de IA no saben lo que no saben. Generan un texto que suena correcto tanto si lo es como si no, y están diseñados así: se los entrena para producir respuestas verosímiles, no para expresar incertidumbre.

Esto significa que no puedes fiarte de lo seguro que suene la IA. Un dato inventado de arriba abajo te lo dirá con el mismo tono que una verdad de perogrullo. ¿La investigación que te ha citado? Puede que no exista. ¿La fecha? Puede estar mal. ¿La estadística? Inventada, pero con toda la pinta de ser real. A esto se le llama alucinación, y ocurre a todas horas.

Así que la primera regla es esta: la confianza que deposites en una respuesta de la IA no debe depender de lo segura que parezca la IA. Esa señal no vale nada.

En qué es buena la IA

La IA destaca en las tareas cuyo resultado se puede comprobar leyéndolo. Si con solo mirar la respuesta sabes si es buena, la IA probablemente te sirva.

Escribir, por ejemplo. La IA puede redactar correos, resumir documentos, proponer otras formas de decir lo mismo, escribir código. Lees el resultado y sabes si hace lo que querías. Si el correo suena bien, casi seguro que está bien; si el código se ejecuta, funciona.

Hacer lluvia de ideas. La IA es excelente generando opciones. ¿Cómo podría llamar a este producto? ¿Cuáles son diez maneras de abordar este problema? ¿Qué preguntas debería estar haciéndome? Aquí lo que necesitas es que la IA sea fecunda, acierte o no: el valor está en la amplitud del abanico, más que en la exactitud de cada propuesta.

Dar formato y transformar. Convierte estos datos de un formato a otro. Convierte estas notas en un esquema ordenado. Traduce este texto. Son tareas en las que ves lo que entra y lo que sale, y puedes comprobar que la transformación se ha hecho bien.

En qué es mala la IA

La IA falla en las tareas en las que la corrección de la respuesta depende de hechos del mundo que no puedes verificar leyendo la propia respuesta.

Datos y citas. ¿En qué año ocurrió esto? ¿Qué encontró este estudio? ¿Qué dice la ley vigente en esta jurisdicción? La IA te dará respuestas, y sonarán seguras y concretas, y una parte considerable de ellas estará mal: no mal por aproximación, sino inventada de cabo a rabo. Todo lo que importe, tienes que comprobarlo.

Razonamiento numérico. La IA es de una torpeza sorprendente con las matemáticas, sobre todo en los problemas de varios pasos y en cualquier cosa con porcentajes o probabilidades. Es frecuente que explique el concepto a la perfección y se equivoque en una suma. No te fíes de ningún número que no hayas comprobado tú mismo.

Actualidad. Los sistemas de IA tienen una fecha de corte en su entrenamiento y no saben nada de lo que pasó después. A veces te lo advierten, y a veces te sueltan con todo el aplomo información caducada como si fuera de hoy. Si la fecha importa, verifica.

Consejos que exigen conocer tu situación concreta. ¿Qué hago con mi carrera? ¿Cómo llevo este problema de pareja? ¿Cuál es la mejor inversión en mi caso? La IA generará consejos que suenan razonables, pero en realidad no te conoce, y lo que te da es un consejo genérico vestido de personalizado.

El criterio

Antes de fiarte de una respuesta de la IA, hazte dos preguntas.

Primera: ¿puedo evaluar la respuesta leyéndola? Si es que sí, fiarse es razonable. Si es que no, verifica.

Segunda: ¿cuánto cuesta equivocarse? Si poco, puedes fiarte. Si mucho, verifica de todos modos.

Esto te deja cuatro cuadrantes:

Se puede juzgar leyéndola y equivocarse cuesta poco: fíate sin más. Redactar correos, generar ideas, desatascarte cuando escribes. Usa la IA sin darle muchas vueltas.

Se puede juzgar leyéndola y equivocarse cuesta caro: usa la IA, pero revisa con cuidado. Contratos, código que se ejecuta en producción, cualquier cosa que vaya a ver mucha gente. La IA te acelera el trabajo, pero la versión final es responsabilidad tuya.

No se puede juzgar leyéndola y equivocarse cuesta poco: fíate con un punto de escepticismo. Recomendaciones de restaurantes, explicaciones de conceptos que te interesan por curiosidad. Si se equivoca, las consecuencias son menores.

No se puede juzgar leyéndola y equivocarse cuesta caro: no te fíes. Verifícalo todo. Información médica, asesoramiento legal, decisiones financieras, datos históricos que vayas a citar. La IA es un punto de partida, no una fuente. Cuando la IA se equivoca, el único que responde eres tú.

El metaproblema

Hay aquí un problema de fondo. La IA mejora, lo que significa que las fronteras que acabo de describir se mueven. Lo que hace un año era imposible hoy es rutina, y lo que hoy no es fiable puede serlo el año que viene.

Esto complica el problema en vez de simplificarlo. Si la IA se quedara fija en un nivel de capacidad, podrías aprender dónde están sus límites; pero cuando la capacidad no deja de crecer, tienes que recalibrar una y otra vez. Las heurísticas que hoy funcionan pueden ser mañana demasiado prudentes, o demasiado poco.

No tengo más solución para esto que la vigilancia: fíjate en dónde falla la IA, actualiza tu modelo cuando mejore y no des por hecho que lo que valía hace seis meses sigue valiendo hoy.

El correo a mi casero salió bien. El consejo fiscal habría sido un desastre. La diferencia no se veía en las respuestas, que sonaban igual de razonables las dos; estaba en la naturaleza de la tarea: una solo pedía un correo que sonara bien y la otra pedía hechos correctos sobre el mundo.

Saber distinguirlas es, de momento, tarea tuya. La IA no sabe lo que no sabe, y te toca a ti saberlo por ella.