Introduction

Bienvenue dans l’Unité Bonus 2 ! Dans ce chapitre, vous explorerez des stratégies avancées pour observer, évaluer et finalement améliorer les performances de vos agents.

---

📚 Quand dois-je faire cette Unité Bonus ?

Cette unité bonus est parfaite si vous :

• Développez et déployez des agents : Vous voulez vous assurer que vos agents performent de manière fiable en production.
• Avez besoin d’informations détaillées : Vous cherchez à diagnostiquer des problèmes, optimiser les performances, ou comprendre le fonctionnement interne de votre agent.
• Visez à réduire les coûts opérationnels : En surveillant les coûts des agents, la latence et les détails d’exécution, vous pouvez gérer efficacement les ressources.
• Recherchez une amélioration continue : Vous êtes intéressé par l’intégration de retour utilisateur en temps réel et d’évaluation automatisée dans vos applications.

En résumé, pour tous ceux qui veulent mettre leurs agents face à des utilisateurs !

---

🤓 Ce que vous allez apprendre

Dans cette unité, vous verrez comment :

• Instrumenter votre agent : Apprenez comment intégrer des outils d’observabilité via OpenTelemetry avec le framework smolagents.
• Surveiller les métriques : Suivez les indicateurs de performance tels que l’utilisation du nombre de tokens (coûts), la latence et les traces d’erreur.
• Évaluer en temps réel : Comprenez les techniques pour l’évaluation en direct, y compris la collecte de retour utilisateur et l’utilisation d’un LLM-as-a-judge.
• Analyse hors ligne : Utilisez des jeux de données de référence (par exemple, GSM8K) pour tester et comparer les performances des agents.

---

🚀 Prêt à commencer ?

Dans la prochaine section, vous allez voir les bases de l’observabilité et de l’évaluation des agents. Après cela, il sera temps de les voir en action !

Update on GitHub