Ingénieur Qualité & Évaluation IA (H/F)

Entreprise

Le Groupe Revue Fiduciaire est l'éditeur juridique de référence.

Nous accompagnons au quotidien les professionnels des métiers du chiffre et du droit en leur proposant des solutions fiables, pratiques et innovantes pour s'informer, se former et anticiper les évolutions de leur métier.

Rejoignez une structure à taille humaine, dynamique et en constante évolution où l'esprit d'équipe, la qualité de service et l'innovation sont au cœur de nos valeurs.

Poste

Le groupe Revue Fiduciaire recrute un(e) Ingénieur qualité & Évaluation IA (F/H) en CDI.

Directement rattaché(e) à la Direction des Systèmes d'information (DSI) du Groupe Revue Fiduciaire,
vous intégrerez l'équipe IA qui conçoit et opère les solutions d'Intelligence Artificielle du groupe:
recherche documentaire augmentée et assistants conversationnels au service des professionnels du
droit et du chiffre. Dans un domaine où l'exactitude des réponses est essentielle, vous serez le garant
de la qualité mesurée de nos systèmes d'IA.

Missions principales:

Évaluation des systèmes d'IA:

• Construction et maintenance des jeux de tests de référence, en lien avec les experts métier
  (juristes, documentalistes);
• Développement de pipelines d'évaluation automatisée en Python (métriques RAG, LLM-as
  judge);
• Campagnes de non-régression avant chaque mise en production (changement de modèle, de
  prompt ou d'index);
• Enrichissement des jeux de tests à partir des cas problématiques remontés par la boucle de
  retour terrain, pilotée par l'Ingénieur IA.

Qualité en production:

• Exploitation de l'observabilité (traces, scores d'évaluation) et construction des tableaux de
  bord qualité;
• Recette fonctionnelle des livraisons IA et qualification des anomalies;
• Tests de robustesse: injections de prompt, hallucinations, cas limites.

Contribution à la chaîne de valeur IA:

• Collaboration étroite avec l'IA Engineer (qui porte la boucle de retour terrain) et les
  Développeurs Python pour améliorer en continu la fiabilité des solutions déployées;
• Veille technologique sur les frameworks et pratiques d'évaluation des LLM

Profil

Le profil recherché:

• Formation Bac+5 (informatique, data, NLP); débutant accepté, une première expérience en
  ML, data ou QA (stage, alternance) est un plus.
• Bonne pratique de Python: scripts, tests, manipulation de données.
• Compréhension des LLM et des architectures RAG; curiosité forte pour l'IA générative.
• Rigueur, esprit critique et goût de la mesure: savoir douter d'une réponse plausible mais
  fausse.
• Capacité à communiquer avec des profils variés, techniques et métier.

Avantages:

• Rémunération sur 13 mois, statut cadre
• Accord de participation
• PEE, PERCOL
• Tickets restaurant (Carte Swile)
• Compte épargne-temps (CET)
• 14,5 JRTT
• Comité Social et Economique
• Télétravail (possibilité de 2 jours/semaine)
• Forfait mobilités durables

LOCALISATION:
Nos locaux sont situés dans le 10e arrondissement de Paris, au pied du métro 7 (Poissonnière) et à
proximité de la Gare du Nord et de la Gare de l'Est.

Pourquoi rejoindre le Groupe Revue Fiduciaire ?
Rejoindre notre DSI, c'est travailler sur des projets à fort impact, en interaction avec des experts
métiers et techniques. Vous contribuerez activement à la transformation digitale du groupe, dans une
ambiance collaborative et bienveillante.