LLM Ops & Observabilidad

Para que un sistema basado en modelos de lenguaje (LLM) sea confiable y seguro en producción, se requiere una infraestructura sólida de monitorización y observabilidad (LLM Ops):

Langfuse como plataforma central

Langfuse es la pieza central de mi stack de LLM Ops: una plataforma open source que unifica el tracing de aplicaciones agénticas con la evaluación continua de calidad. Sobre ella construyo el bucle completo de observabilidad y mejora:

• Trazas de extremo a extremo: Instrumentación de cada llamada al modelo, herramienta y paso del flujo agéntico, con visibilidad de prompts, respuestas, latencias y coste por token.
• Evaluación integrada: Definición de scores automáticos (LLM-as-a-judge, heurísticas, reglas) y anotaciones humanas directamente sobre las trazas capturadas en producción.
• Datasets y experimentos: Gestión de conjuntos de datos de referencia para comparar versiones de prompts y modelos de forma reproducible antes de desplegar.
• Prompt management: Versionado y despliegue de prompts desacoplado del código, con métricas asociadas a cada versión.

Herramientas de evaluación de LLMs (Evals)

La naturaleza no determinista de los LLM exige medir la calidad de forma sistemática, no a ojo. Estas son las herramientas reales que integro según el caso de uso:

• Langfuse: Evaluación continua sobre trazas de producción combinada con tracing, ideal para monitorizar la calidad de forma sostenida en el tiempo.
• Ragas: Framework especializado en la evaluación de pipelines RAG, con métricas como faithfulness, answer relevancy y context precision/recall para detectar alucinaciones y fallos de recuperación.
• Promptfoo: Testing y comparación de prompts, modelos y configuraciones, con ejecución en CI/CD para evitar regresiones de calidad en cada cambio.
• DeepEval: Unit testing de LLMs al estilo pytest, con métricas de evaluación reutilizables (hallucination, relevancy, bias) integrables en la suite de pruebas.
• LLM-as-a-judge: Patrón que usa un modelo potente como evaluador para puntuar respuestas frente a criterios definidos (correctness, tono, seguridad) cuando no hay una verdad de referencia única.

Hardening y Guardrails

• Evals automatizadas: Diseño y ejecución de conjuntos de pruebas para medir alucinaciones, precisión e inyección de prompts en CI/CD.
• Guardrails: Implementación de políticas de entrada/salida en tiempo real con NeMo Guardrails o Llama Guard.

Observabilidad Completa

• Trazabilidad: Además de Langfuse, integro herramientas como Phoenix (Arize) para el análisis exploratorio de trazas y embeddings cuando el caso lo requiere.
• Optimización de costes: Cacheado semántico de prompts comunes e instrumentación para monitorizar el uso de tokens y latencias.