¿Qué son las Evaluaciones para flujos de trabajo de IA?

Las evaluaciones para flujos de trabajo de IA te permiten ejecutar una variedad de entradas en tu flujo de trabajo, observar las salidas y aplicar métricas completamente personalizables. Puedes medir todo lo que sea relevante para tu caso de uso, ya sea la corrección, toxicidad y sesgo, o si el agente llamó a la herramienta correcta. Estos datos te permiten analizar el efecto de cambios específicos y comparar el rendimiento a lo largo del tiempo. En n8n, una evaluación se agrega como un camino dedicado en tu flujo de trabajo que se puede ejecutar por separado de otros desencadenadores, permitiéndote concentrarte en la prueba y la iteración sin interrumpir la lógica de producción.

Para utilizar las Evaluaciones, necesitarás la versión 1.95.1 o superior. Consulta las notas de la versión para obtener un resumen sobre cómo implementar una evaluación, o explora la documentación de Evaluaciones para obtener una guía detallada, consejos de solución de problemas, conjuntos de datos de ejemplo y plantillas de flujo de trabajo de evaluación.

¿Por qué las Evaluaciones de IA?

Actualiza y despliega con confianza, incluso en producción.

Desde entradas del mundo real y casos límites desafiantes, hasta estructurar todos los datos que tu IA procesará, ejecutar flujos de trabajo de IA de manera confiable a lo largo del tiempo requiere esfuerzo. La ingeniería de prompts es un gran ejemplo: a veces cambias un prompt y resulta que mejora un caso de uso, pero empeora tres más. Las evaluaciones de IA son un camino de prueba dedicado dentro de tu flujo de trabajo que te mantiene en el buen camino, permitiéndote volver a ejecutar pruebas en cualquier momento para validar cambios, acelerar la iteración y desplegar con confianza.

Experimenta e itera más rápido

Los flujos de trabajo de IA contienen múltiples partes móviles, todas las cuales podrías querer ajustar. Pero cualquier cambio, por pequeño que sea, puede impactar en la salida de tu modelo de lenguaje o agente de IA. Aquí es donde entran las evaluaciones de IA, permitiéndote experimentar con confianza con actualizaciones y cambios, sabiendo que tus usuarios finales no se verán afectados por salidas inesperadas.

Evalúa modelos de IA alternativos

Perdemos la cuenta de la cantidad de nuevos y actualizados modelos de IA que se lanzan. Las actualizaciones en los modelos de lenguaje pueden introducir cambios sutiles que impactan directamente en tus resultados. La gran pregunta es: ¿cuándo es el momento adecuado para cambiar o actualizar, y qué modelo deberías elegir?

Las evaluaciones de IA te permiten tomar decisiones informadas más rápido. Ya sea que desees mejorar la velocidad, la eficiencia de costos, la precisión o simplemente verificar si un nuevo modelo cumple sus promesas, las evaluaciones de IA te colocan al mando.

Mantén la calidad alta

La calidad es importante: para ti y para tus usuarios finales. Cuando dependes de flujos de trabajo de IA para entregar datos clave, es fundamental que confíes en la calidad de las salidas. Por eso, nos esforzamos por crear una herramienta de evaluación que sea intuitiva y flexible para todos los casos de uso.

Cómo obtener el máximo de las Evaluaciones de IA

Utiliza preguntas comparativas en tus prompts

A través de muchos ensayos, hemos encontrado que las preguntas comparativas proporcionan información más útil que los sistemas de puntuación absoluta. En lugar de pedir a un modelo de IA que califique una salida del 1 al 10, pregúntale directamente si la nueva salida contiene la información correcta. Esto te proporcionará una retroalimentación más consistente y accionable.

Para una evaluación más robusta, intenta incorporar métricas determinísticas, como el número de tokens, tiempo de ejecución, cantidad de llamadas a herramientas, o verificación de que se invocaron herramientas específicas. Estas métricas proporcionan puntos de datos inequívocos que complementan las evaluaciones cualitativas.

Asegúrate de utilizar conjuntos de datos robustos

La precisión de tus evaluaciones de IA depende de los conjuntos de datos que pruebas. Los datos del mundo real que ya han pasado por tus flujos de trabajo son una excelente manera de descubrir información auténtica. Utilizar datos históricos también te proporciona un punto de referencia confiable para comparar mejoras de rendimiento a lo largo del tiempo, permitiéndote medir objetivamente el impacto de tus optimizaciones.

Cómo construimos las Evaluaciones para flujos de trabajo de IA

Construimos nuestra herramienta de evaluaciones de IA sobre el motor de ejecución de n8n, la misma infraestructura robusta que impulsa las ejecuciones estándar de flujo de trabajo. Esto se hizo por varias razones: en primer lugar, queremos asegurar un comportamiento consistente entre los flujos de trabajo de producción y evaluación. Segundo, esto nos permite aprovechar componentes, funcionalidades y modelos mentales que los usuarios de n8n ya conocen, beneficiándose de la familiaridad existente con los patrones de ejecución de n8n.

Al utilizar flujos de trabajo para evaluar flujos de trabajo, hemos creado una meta-capa que demuestra la flexibilidad y potencia de n8n. Esto también ahorra un esfuerzo significativo a futuro, ya que al mejorar el motor de ejecución principal, las mejoras benefician automáticamente al marco de evaluación sin requerir esfuerzos adicionales de desarrollo.

¿Qué aprendimos?

Prueba temprano y a menudo

Nuestras pruebas tempranas, dirigidas a usuarios seleccionados, fueron invaluables. Sus comentarios nos llevaron a perfeccionar el diseño de UX/UI, lanzando una herramienta que aprovecha una lógica similar a otros flujos de trabajo de n8n, facilitando su inicio.

La complejidad destilada nunca será perfecta

Envase la complejidad de la IA en una interfaz intuitiva fue nuestro mayor desafío en este proyecto, y nuestra UX/UI aún está en desarrollo mientras seguimos mejorando la simplicidad.

Amamos n8n

Aprovechar el motor de ejecución de nuevas maneras nos ha dado una nueva apreciación por la versatilidad de n8n.

Déjanos saber tus pensamientos. ¿Cómo podemos mejorar aún más nuestras evaluaciones para flujos de trabajo de IA?