Cómo probar un chatbot con la documentación de tu empresa antes de ponerlo en marcha

Qué es un chatbot con la documentación de la empresa (y qué es RAG)

Es un asistente de conversación que, antes de contestar, busca en los documentos de tu empresa los fragmentos relacionados con la pregunta y se los pasa a un modelo de lenguaje junto con ella. El modelo redacta la respuesta a partir de esos fragmentos y, si está bien planteado, indica de qué documento sale cada dato. A este esquema se le suele llamar RAG, siglas en inglés de «generación aumentada por recuperación». La expresión aparece en el título de un artículo de investigación de 2020 firmado por Patrick Lewis y otros autores, que combinaba un modelo generativo con un índice de textos de Wikipedia consultado por un recuperador.

Conviene quedarse con que hay dos piezas: una busca y otra redacta. Cada una puede fallar por su lado, y las pruebas tienen que distinguirlas.

¿Puede inventar respuestas aunque use tu documentación?

Sí. Darle tus documentos reduce el margen para que improvise, aunque sigue habiendo varias maneras de que la respuesta salga mal:

• La búsqueda trae el fragmento equivocado: el procedimiento de otro departamento, la tarifa del año pasado o un párrafo que menciona la palabra sin responder a la pregunta.
• La respuesta no está en ningún documento y el modelo rellena el hueco con algo verosímil.
• Dos documentos se contradicen y el modelo elige uno sin avisar, o mezcla los dos.
• El fragmento correcto llega, pero el resumen lo deforma: cambia un plazo, omite una excepción o convierte un caso particular en norma general.

Para limitarlo, el asistente tiene que poder decir «no lo encuentro en la documentación» y mostrar el documento y el apartado de los que saca cada respuesta. Así quien pregunta puede comprobarlo en poco tiempo. Ninguna configuración evita del todo los errores, y es mejor saberlo antes de decidir para qué se va a usar.

Para qué sirve un chatbot interno

Donde mejor encaja es en preguntas que se repiten y cuya respuesta ya está escrita en algún sitio, aunque cueste encontrarla: cómo se tramita una devolución, qué dice el procedimiento de altas, qué indica la ficha técnica de un producto o qué pasos sigue una incidencia. Si lo usan personas de la empresa, conocen el contexto y suelen notar cuándo una respuesta no cuadra. Por eso prefiero empezar por un uso interno antes de pensar en atender a clientes con él.

A veces no lo recomendaría. Si la documentación cabe en unas pocas páginas, un índice bien hecho o un buscador corriente resuelven lo mismo con menos incertidumbre. Si la respuesta depende de datos que cambian cada día, como el estado de un pedido, lo fiable es una consulta a la base de datos. Y si además de responder tiene que ejecutar acciones, ya se trata de un agente; en qué reviso antes de poner un agente de IA a trabajar en una empresa explico los permisos y las pruebas que eso añade.

Qué reviso en la documentación antes de empezar

Antes de cargar nada hago inventario con alguien que conozca los documentos. Pregunto cuál es la versión vigente de cada uno, porque es frecuente que convivan varias copias del mismo manual en carpetas distintas. Miro también el formato: un PDF escaneado sin capa de texto, una tabla pegada como imagen o una hoja de cálculo con celdas combinadas pueden llegar al buscador convertidos en texto ilegible.

Después decidimos quién puede ver qué. Si la documentación de recursos humanos o los contratos con proveedores entran en el mismo índice que el manual de ventas, el chatbot puede citarlos a cualquiera que pregunte. Aplico los permisos en la búsqueda, de modo que a cada persona solo le lleguen fragmentos de documentos que ya podía abrir.

Solo uso material que tu empresa tenga derecho a usar para este fin. Si contiene datos personales, lo revisamos con quien lleve la protección de datos en tu empresa, incluido qué proveedor recibe las preguntas y los fragmentos.

Cómo lo pruebo antes de que lo use nadie

Preparo la prueba antes de construir el chatbot. Con las personas que hoy resuelven esas dudas reúno preguntas reales, escritas como las haría alguien con prisa, y anoto para cada una la respuesta correcta y el documento y el apartado donde está. Mezclo situaciones distintas:

• preguntas con respuesta directa en un documento;
• otras que obligan a juntar información de dos documentos;
• preguntas cuya respuesta no está en la documentación, donde lo correcto es decir que no la encuentra;
• temas de los que existen una versión antigua y otra vigente;
• consultas sobre documentos que esa persona no debería ver;
• documentos que contienen instrucciones dirigidas al propio chatbot, para comprobar que no las obedece.

Al pasar el conjunto miro las dos piezas por separado. Primero, si la búsqueda trajo el fragmento que contiene la respuesta. Después, si la respuesta se ciñe a ese fragmento y cita bien la fuente. Cuando falla la búsqueda, el arreglo suele estar en cómo se trocean e indexan los documentos; cuando falla la redacción, en las instrucciones o en el modelo elegido. Si los dos errores se suman en una única puntuación, no hay forma de saber qué cambiar.

Que una respuesta sea correcta o solo lo parezca lo deciden las personas que conocen el tema, así que una parte de la revisión es suya. Guardo el conjunto y lo vuelvo a pasar cada vez que cambian los documentos, las instrucciones o la versión del modelo. El resultado describe cómo se comporta con esas preguntas, y ante preguntas que nadie previó puede comportarse de otra forma. Por eso propongo revisar durante las primeras semanas una muestra de conversaciones reales, con el permiso y las cautelas que acordemos.

Una primera fase y lo que queda fuera

Una primera fase puede limitarse a una parte de la documentación, por ejemplo la de un departamento. Entrego el inventario de esos documentos con su versión vigente y sus permisos, el conjunto de preguntas de prueba con sus respuestas esperadas, un prototipo que responde con ese material autorizado y un informe que separa, por tipo de pregunta, lo que acertó, lo que falló y en qué pieza. Trabajo en remoto, con los accesos que tu empresa me facilite. Con ese informe decides si ampliar la documentación, corregir lo que falla o detenerte ahí.

Salvo que lo acordemos, quedan fuera la corrección del contenido de los documentos, las licencias de los servicios externos y el mantenimiento posterior, que presupuesto aparte. Tampoco puedo garantizar que acierte con cualquier pregunta futura.

El Reglamento (UE) 2024/1689, de inteligencia artificial, dispone en su artículo 50 que los sistemas de IA destinados a interactuar directamente con personas físicas se diseñen y desarrollen de forma que esas personas estén informadas de que interactúan con uno, salvo que resulte evidente. Cómo afecta a tu chatbot es una cuestión jurídica que conviene revisar con tu asesor; esta nota no es asesoramiento legal.

El resto del trabajo, del desarrollo a las pruebas de aceptación, lo explico en la página de desarrollo de software a medida, automatización e IA aplicada.