Cuándo confiar en la IA (y cuando no)

El mes pasado le pedi a una IA que me ayudara a escribir un email a mi casero. Fue perfecto. Claro, educado, ligeramente formal. Exactamente lo que necesitaba. Dos semanas después le pedi a la misma IA que me explicara las implicaciones fiscales de vender criptomonedas en mi pais. Me dio una respuesta segura y detallada. También estaba equivocada de maneras que me habrian costado miles de euros.

El problema no es que la IA sea mala. El problema es qué es inconsistente de maneras difíciles de predecir. A veces es notablemente buena. A veces falla de maneras que parecen basicas. Y presenta ambas salidas con identica confianza, lo qué hace difícil distinguir entre ellas.

He estado pensando sobre cuándo confiar en la IA, y he llegado a algo parecido a un marco. No es perfecto, pero es mejor que tratar cada salida de la IA de la misma manera.

El problema de la confianza

Los sistemas de IA no saben lo que no saben. Generan texto que suena correcto tanto si lo es como si no. Esto es una caracteristica de diseño, no un bug. Estan entrenados para producir salidas plausibles, no para expresar incertidumbre.

Esto significa que no puedes fiarte de lo segura que suena la IA. Un hecho completamente fabricado se afirmara con el mismo tono que uno trivialmente verdadero. La investigacion que citaste? Puede que no exista. La fecha? Puede estar mal. La estadistica? Inventada, pero de una manera que suena real. Esto se llama alucinacion, y ocurre constantemente.

Así que la primera regla es: tu confianza en la salida de una IA no debería basarse en lo segura que parece la IA. Esa señal no tiene sentido.

Quiero saber más sobre el espectro de capacidades de la IA

En qué es buena la IA

La IA destaca en tareas donde la salida puede verificarse leyendola. Si puedes saber si la respuesta es buena mirandola, la IA probablemente es útil.

Escribir, por ejemplo. La IA puede redactar emails, resumir documentos, sugerir reformulaciones, escribir código. Lees la salida y sabes si hace lo que querias. Si el email suena bien, probablemente esta bien. Si el código funciona, funciona.

Lluvia de ideas. La IA es excelente generando opciones. Como podría llamar a este producto? Cuales son diez formas de abordar este problema? Que preguntas debería hacerme? No necesitas que la IA sea correcta. Necesitas que sea generativa. El valor está en el abanico de posibilidades, no en la precisión de ninguna en particular.

Formateo y transformacion. Convierte estos datos de un formato a otro. Convierte estás notas en un esquema estructurado. Traduce este texto. Son tareas donde tanto la entrada cómo la salida son visibles, y puedes comprobar que la transformacion se hizo correctamente.

En qué es mala la IA

La IA falla en tareas donde la correccion de la salida depende de hechos sobre el mundo que no puedes verificar leyendo la salida misma.

Hechos y citas. En que año ocurrió este evento? Que encontro este estudio? Cuál es la ley actual en esta jurisdiccion? La IA te dara respuestas. Las respuestas sonaran seguras y especificas. Una parte significativa de ellas estarán mal. No aproximadamente mal. Completamente inventadas. Necesitas verificar todo lo que importa.

Razonamiento numérico. La IA es sorprendentemente mala en matematicas, especialmente problemas de varios pasos o cualquier cosa que involucre porcentajes y probabilidades. A menudo se equivocara en aritmetica simple mientras explica el concepto perfectamente. No confies en ningún número que no hayas comprobado tu mismo.

Información actual. Los sistemas de IA tienen fechas de corte de entrenamiento. No saben sobre cosas qué pasaron después de cierta fecha. A veces te lo dirán, y a veces afirmaran con confianza información desactualizada como si fuera actual. Si la actualidad importa, verifica.

Consejos que requieren conocer tu situación específica. Que debería hacer con mi carrera? Como debería manejar este problema de relación? Cuál es la mejor inversión para mi situación? La IA generara consejos que suenan razonables, pero realmente no te conoce. El consejo es generico, vestido para parecer personalizado.

El marco

Antes de confiar en una salida de IA, hazte dos preguntas:

Primera: Puedo evaluar la salida leyendola? Si si, la confianza es razonable. Si no, verifica.

Segunda: Cuál es el coste de equivocarse? Si es bajo, la confianza esta bien. Si es alto, verifica de todos modos.

Esto te da cuatro cuadrantes:

Salida legible, coste bajo: Confia libremente. Redacta emails, genera ideas, desbloquea tu escritura. Usa la IA sin cuestionarte mucho.

Salida legible, coste alto: Usa la IA pero revisa cuidadosamente. Contratos legales, código que corre en producción, cualquier cosa que vera mucha gente. La IA acelera tu trabajo, pero tu eres responsable de la versión final.

Salida no legible, coste bajo: Confia con escepticismo moderado. Recomendaciones de restaurantes, explicaciones de conceptos que te interesan casualmente. Si esta mal, las consecuencias son menores.

Salida no legible, coste alto: No confies. Verifica todo. Información médica, asesoramiento legal, decisiones financieras, hechos historicos que vas a citar. La IA es un punto de partida, no una fuente. Nadie es responsable cuando la IA da información erronea excepto tu.

El meta-problema

Hay un problema más profundo aquí. La IA esta mejorando, lo qué significa que los límites que he descrito se estan moviendo. Cosas que eran imposibles hace un año ahora son rutina. Cosas que hoy no son fiables podrían ser confiables el año que viene.

Esto hace el problema más difícil, no más fácil. Si la IA estuviera siempre a un nivel fijo de capacidad, podrias aprender dónde están los bordes. Pero cuando la capacidad aumenta constantemente, tienes que seguir recalibrando. Las heuristicas que funcionan hoy podrían ser demasiado cautas mañana, o no lo suficiente.

No tengo una solución para esto excepto vigilancia. Presta atención a donde falla la IA. Actualiza tu modelo cuando mejore. No asumas que lo que era verdad hace seis meses sigue siendolo ahora.

---

El email a mi casero fue bien. El asesoramiento fiscal habría sido un desastre. La diferencia no era visible en las salidas. Ambas sonaban igualmente razonables. La diferencia estaba en la naturaleza de la tarea: una solo requeria un email que sonara bien, y la otra requeria hechos correctos sobre el mundo.

Conocer la diferencia es, por ahora, tu trabajo. La IA no sabe lo que no sabe. Tu tienes que saberlo por ella.