Una empresa necesita mirar más allá del modelo; debe incluir los artefactos de ingeniería de software sobre los cuales el modelo opera, los documentos que puede consultar, las reglas que debe obedecer, los accesos concedidos y las acciones que requieren permiso.

Un modelo busca contradicciones o incumplimientos difíciles de expresar en una fórmula, con cierta creatividad como capacidad emergente.

Definir dónde extremar los controles, validaciones y contrapesos es una decisión de negocio.

Con el tiempo, el sistema empieza a contener parte del oficio de la empresa. El mismo conocimiento que antes estaba repartido entre manuales, intercambios de correo, alguna que otra carpeta de Drive y la cabeza de unos y otros.

La ventaja no se construye con una gran inversión inicial; empieza con un proceso acotado, que se diseña, ejecuta, evalúa y ajusta antes de volver a empezar.

Hace poco di un taller de nivelación en el uso de la inteligencia artificial (IA) en un proveedor de servicios profesionales. Hicimos una encuesta previa. El 76 % de los participantes usaba la IA con relativa regularidad para buscar información. El 71 %, para redactar o mejorar textos. El 57 %, para resumir o interpretar documentos. Pero no había un uso extendido en procesos críticos, ni evidencia de que la IA estuviera generando mejoras significativas de productividad o permitiendo ampliar la oferta de la firma hacia nuevas oportunidades.

Más de la mitad de los profesionales respondieron lo mismo cuando les preguntamos por qué no hacían un uso más extendido de la IA en sus tareas productivas: “No termino de confiar en sus resultados”, cliquearon. Y tenían buenas razones para hacerlo.

La confianza… Ese salto de fe tan profundamente humano que nos conduce a veces al acierto y otras tantas al error, a unos cuantos lamentos y, cada tanto, nos da alguna satisfacción. Confiar es dejarse arrastrar por una intuición, a veces más y otras menos complementada por criterio y evidencia. No es fácil. Menos cuando del otro lado tenemos un “loro estocástico” que reproduce patrones de lenguaje con la seguridad de quien dedicó una vida entera al asunto, pero sin cargar con ninguna responsabilidad sobre la veracidad de lo que está diciendo.

La expresión apareció en un trabajo académico publicado en 2021. Desde entonces, los loros aprendieron algunos trucos maravillosos. Trabajan con documentos e imágenes, escriben programas, consultan fuentes y utilizan herramientas. Su capacidad para resolver problemas mejoró mucho. Pero la posibilidad de pasar algo falso por verdadero, si bien está más acotada, sigue ahí.

Un modelo de lenguaje fue entrenado para producir una continuación plausible. Podemos darle mejores fuentes, más contexto y tiempo para razonar. Obtendremos mejores resultados, pero nunca una garantía. Los profesionales de aquella encuesta hacían bien en desconfiar del modelo. El error estaba, quizás, en creer que debían confiar en él para empezar a usarlo.

Lo que rodea al modelo

Cuando se habla de IA, casi toda la atención queda puesta en los modelos. Que Claude esto, que GPT lo otro, que Gemini, que Kimi, que GLM. Se comparan sus resultados, su velocidad y cuánto cobran por procesar un millón de pedacitos de palabra. Es la parte visible del asunto. Conversa con nosotros, deslumbra cuando acierta y nos deja pegados cuando inventa por nosotros una cita de un autor que existe, tiene producción académica sobre el tema y es ampliamente citado, pero nunca dijo lo que el modelo asegura que sí.

Una empresa necesita mirar más allá del modelo. La solución debe incluir además los artefactos de ingeniería de software sobre los cuales el modelo opera, los documentos que puede consultar, las reglas que debe obedecer, los accesos concedidos y las acciones que requieren permiso. Alguien tiene que decidir en qué condiciones un nuevo proceso, un cambio en la continuidad, un caso borde o un emergente, deben ser registrados y cómo esa memoria se recupera en la próxima interacción. De esas decisiones bastante menos vistosas depende buena parte de la confiabilidad.

El uso individual del chat sirve para muchas cosas, pero depende demasiado de la persona que escribe la instrucción. Cada empleado aporta documentos distintos, pregunta a su manera y verifica lo que recuerda verificar. Cuando la tarea es frecuente o sensible, esa informalidad empieza a pasar factura.

Tomemos como ejemplo la revisión de un contrato. Podemos subirlo a un chat y pedir un resumen de sus obligaciones, que las interprete e identifique aquellas problemáticas para el cliente. El resultado seguramente parezca razonable. Lo difícil será descubrir si se olvidó de alguna.

Ahora volvamos a pensar el problema con cabeza de sistema. Pensemos en una primera instancia en la cual le pedimos a un modelo de IA que separe el contrato en una serie de cláusulas. De ellas, que identifique cuáles representan una obligación para el cliente. Y que esa lista no la confeccione de una sola vez, sino a partir de tres, cinco o nueve pasadas. O mejor, que lo siga haciendo hasta que las últimas tres iteraciones no agreguen ninguna cláusula adicional. Luego distintas instancias evaluarán cada obligación, una a una, y determinarán su grado de compromiso para los intereses del cliente.

Ya no tenemos delante una respuesta en la cual creer o reventar. Tenemos un procedimiento razonable, auditable, y factible de testeo masivo y evaluación científica.

Del modelo al sistema

A la estructura que permite a un modelo trabajar como agente se la suele llamar “arnés”. La imagen es potente por sí misma. El arnés define las herramientas disponibles, guarda el estado del trabajo, limita los intentos y exige autorización antes de ciertas acciones. Si falta información o las respuestas se contradicen, puede obligar al agente a detenerse y volver a intentar.

Luego de una instancia de planificación, un modelo se encarga de elaborar una lista de tareas que otras instancias seguirán una a una. Un modelo prepara una respuesta y otro la critica. Un tercero se encarga de hacer una síntesis de compromiso. Un agente busca evidencia favorable y otro intenta derribar la conclusión. También se puede dividir una investigación entre varios subagentes y encargarle a un orquestador que reúna los resultados.

No hay nada demasiado exótico detrás de estas arquitecturas. Reproducen la revisión por pares, la separación de funciones y el viejo principio de que nadie debería firmar solo aquello que importa.

Los sistemas pueden invocar herramientas, que no es otra cosa que software determinista, el de toda la vida. Si tengo que hacer una operación matemática, no se la pido directamente a un modelo de lenguaje. Quizás sí utilice uno para identificar a partir de un texto en lenguaje natural cuáles deben ser los sumandos, y que se los suministre, separados por comas, a un algoritmo que calcula, de esos que ponés un dos y otro dos y siempre te da cuatro. Y ese resultado es el que va a usar en producción, no el que se le ocurra adivinar en base a patrones preentrenados. El loro aprendió a tocar botones en una calculadora y eso lo hace más robusto, más capaz y muchísimo más confiable.

Los controles más sólidos mezclan mecanismos. Una regla informática extrae un trozo de información de una base de datos. Un modelo busca contradicciones o incumplimientos difíciles de expresar en una fórmula, con cierta creatividad como capacidad emergente. El profesional interviene cuando hay una excepción, una ambigüedad relevante o una acción costosa de revertir. Tanto el diseño de procedimientos asistidos por IA como los procesos de revisión y acción humana son los que imprimen el criterio, el juicio profesional, el saber aplicado, que es la semilla de valor que lejos de perderse y reemplazarse, cobra especial fuerza en el mundo de los loros estocásticos.

Y no todos los errores pesan igual. Un error en la receta del strogonoff puede como mucho terminar en un WhatsApp resignado a la pizzería del barrio, pero un error de interpretación en las variaciones del nivel de agua en cultivos de arroz deriva en pérdidas millonarias. Definir dónde extremar los controles, validaciones y contrapesos es una decisión de negocio.

Las pruebas determinan los umbrales de operación. Algunos casos de implementación avanzan solos. En otros conviven tareas automatizadas con procesos de revisión y validación humana. Pero todo es medible y evaluable de antemano. La clave está en aplicar la estadística de siempre: los principios de inferencia, los modelos bayesianos, las pruebas de hipótesis, los cuasi experimentos. Todos tienen especial vigencia a la hora de testear el alcance, la precisión, la alineación y los sesgos en sistemas de IA. También se suman otras técnicas a la caja de herramientas: la calibración, las pruebas de robustez, el red teaming, los casos adversariales y el monitoreo de deriva. Todo al servicio de contestar las preguntas de siempre: ¿Cómo reacciona un modelo ante un caso típico? ¿Y ante uno atípico? ¿Cuántos falsos positivos? ¿Cuántos falsos negativos? ¿Cuál es el costo asociado al error?

Lo que viene quedando

Los sistemas no son estáticos. Cada corrección realizada por un profesional puede incorporarse al banco de pruebas, habilidades o instrucciones. Una excepción recurrente puede convertirse en una regla. Si un control falla, se modifica el flujo y se vuelve a ejecutar sobre los casos anteriores para comprobar que el arreglo no rompió lo que antes andaba. Y el sistema avanza como el pasante que efectiviza su contrato.

Con el tiempo, el sistema empieza a contener parte del oficio de la empresa. El mismo conocimiento que antes estaba repartido entre manuales, intercambios de correo, alguna que otra carpeta de Drive y la cabeza de unos y otros. Ahora centralizado, y tanto al alcance del socio como del junior que acaba de entrar.

Los modelos van a cambiar. El que hoy encabeza las comparaciones puede quedar atrás en pocos meses… o días. Una empresa que conserva sus criterios y procesos, y los vuelca en un sistema de IA, puede alternar entre un modelo y otro sin mayor contratiempo. La empresa que se jugó del todo por una herramienta enlatada, será sustituible por otra (quizás del propio proveedor del enlatado). La organización que apueste por diseñar un sistema de calidad en base a su experiencia, criterio y talento humano tendrá algo único que ofrecer a sus clientes.

La ventaja, por lo tanto, no se construye con una gran inversión inicial. No se trata de pegar primero. Empieza con un proceso acotado, que se diseña, ejecuta, evalúa y ajusta antes de volver a empezar. La empresa crece y aprende al mismo tiempo que mejora su solución.

Los profesionales de aquella encuesta no necesitaban una IA infalible. Necesitaban saber dónde se equivocaba, cómo se revisaban sus decisiones y qué mecanismos operan para impedir que un error se convirtiera en una acción que lamentar.

Eso no requiere fe. Requiere diseño.