Senior AI Engineer - Freelance (H/F)

Senior AI Engineer - Freelance (H/F)

Conditions

• Localisation: Massy-Palaiseau.
• Présence sur site: 2 jours par semaine.
• Taux journalier (TJM): 700€
• TJM: 700€

Missions

• Concevoir, industrialiser et suivre les métriques de qualité des réponses via la couche d'évaluation « LLM as a judge ».
• Assurer la maintenance de la plateforme, garantir sa fiabilité et corriger les anomalies.
• Réaliser des analyses LLM avancées pour comprendre le comportement de l'agent et fiabiliser les résultats.
• Intégrer le protocole A2UI pour la création et l'exposition de graphiques dans l'interface utilisateur.
• Maintenir et documenter le framework d'évaluation LLM-as-a-judge (métriques, jeux de test, seuils).
• Effectuer la maintenance corrective et évolutive de l'agent en production.
• Fournir des analyses LLM approfondies accompagnées de recommandations d'amélioration.

Profil

• Maîtrise des agents, des frameworks d'évaluation et des outils de mise en production.
• Maîtrise de Python et des frameworks ML.
• Maîtrise de la stack technique: GCP, Python, Airflow.
• Disponibilité immédiate pour débuter la mission dès le lundi 21/09.