Collective.work
AI Engineer – Agent Conversationnel d’Analyse de Données – Freelance (H/F)
Description du poste
Taux journalier (TJM): 580
Notre client, développe des services analytiques fiables au service de la transformation analytique et de la prise de décision, portés par une Agentic Team.
La mission consiste à prendre en charge la maintenance, le développement évolutif et la fiabilisation continue de l’agent conversationnel d’analyse de données « TalkToMyData », déployé en production sur Agent Platform. L’objectif est de garantir la continuité de service, renforcer la robustesse de l’outil et faire monter la solution en qualité grâce à des métriques d’évaluation poussées et des fonctionnalités d’analyse avancées.
PÉRIMÈTRE DE LA MISSION
Évaluation & Qualité LLM (LLM-as-a-Judge)
*
Poursuite de la conception, de l’industrialisation et du suivi des indicateurs de performance de l’agent
*
Maintenance, documentation et enrichissement du framework d’évaluation LLM-as-a-judge (jeux de tests, métriques de pertinence, seuils de qualité et garde-fous)
Analyse avancée & nouvelles fonctionnalités UI
*
Études approfondies sur les comportements du modèle afin d’identifier les dérives, optimiser les résultats et proposer des axes d’amélioration
*
Intégration du protocole A2UI pour la génération et l’exposition dynamique de graphiques enrichis directement dans l’interface utilisateur
*
Rapports d’analyses LLM structurés accompagnés de recommandations opérationnelles
Maintenance & LLMOps (Maintien en Conditions Opérationnelles)
*
Prise en charge de la maintenance corrective et évolutive de l’agent en production
*
Résolution des anomalies, mises à jour des composants logiciels et monitoring continu de la fiabilité de la plateforme
*
Concevoir des workflows multi-agents et protocoles A2A/A2UI
*
Maîtrise de l’environnement Google Cloud Platform (Agent Platform, ex-Vertex AI, Cloud Run, Cloud Batch, Pub/Sub, Cloud Logging, Cloud Tracing)
*
Parser et structurer des données non structurées (PDF, images, tableaux)
