Cours gratuit
Tester un produit qui contient de l'IA générative
Apprendre à tester un produit qui contient de l'IA générative, des bases du test jusqu'au dossier d'évaluation remis à qui décide. En pratiquant : les tests et les évaluations tournent dans votre navigateur.
- Gratuit
- Modules 01 et 02 libres, la suite avec votre espace gratuit
- 9 modules et un projet final
- Environ 14 heures
- Une attestation vérifiable
Ce que montre la vidéo, plan par plan
- Tester un produit contenant de l'IA générative, ça s'apprend. En pratiquant.
- Un cours complet, gratuit : 10 modules, 43 leçons, 29 compétences, environ 14 heures.
- Partie 1 : tester tout produit. 01 Les bases du test, ce qu'un test prouve et à quel niveau. 02 Mener une campagne, dire où en est une campagne. Tous deux libres.
- Partie 2 : évaluer l'IA générative. 03 Première évaluation, pourquoi une moyenne peut mentir. 04 Les fondations, derrière quelle porte placer un comportement. 05 Les deux portes, ce que prouve chaque porte.
- Puis mesurer, prouver, gouverner. 06 Ce qu'on mesure, 07 Concevoir la preuve, 08 Passer à l'exécution, 09 La gouvernance.
- Projet final : votre propre dossier d'évaluation. Six pièces et une note de passation pour le responsable de la décision.
- Chaque module se termine par un jalon : celui du module 03, chaque compétence avec sa preuve.
- Dans chaque leçon : prédire, exécuter, écrire, comparer. La prédiction Fail, le verdict décidé par un veto, une réponse écrite puis celle du cours, puis « Compétence acquise ».
- Tout tourne dans votre navigateur. Rien n'est envoyé.
- À la fin : une attestation vérifiable, pour LinkedIn (exemple en mode démonstration).
- Deux modules libres : moamen.fr/cours.
- Pour qui
- Les personnes qui testent un produit ou valident une fonctionnalité contenant de l'IA générative avant sa mise en production : product owners, responsables métier, testeurs, chefs de projet. Aucune programmation n'est demandée.
- Ce que vous avez à la fin
- Un dossier d'évaluation complet sur une capacité de votre choix, prêt à remettre à la personne qui décide de la mise en production.
- Ce que le cours ne couvre pas
- Les tests de performance, de sécurité et d'accessibilité, qui demandent chacun leurs propres méthodes ; l'écriture de tests automatisés ; et la validation des modèles de machine learning classiques.
Comment on apprend
10 exécutions, 13 exercices notés, 56 questions où vous écrivez votre réponse avant de voir la nôtre, et 14 textes sur votre propre cas. Cinq gestes reviennent dans chaque leçon.
Avant chaque exécution, vous vous engagez sur un verdict : Pass, Fail ou Not Ready. Une prédiction à laquelle on s'engage, même fausse, fait mieux retenir le résultat.
Avant de lancer : Fail est choisi, le bouton attend. Les exécutions sont réelles : suites de tests, évaluations et rapport de pipeline, c'est le moteur Python du cours qui les fait tourner, dans votre navigateur. Rien n'est envoyé à un serveur.
Une vraie exécution. Le moteur tourne dans votre navigateur, et le tableau montre quel contrôle a décidé. Avant chaque réponse, vous écrivez la vôtre, puis vous ouvrez celle du cours. C'est en trouvant soi-même qu'on apprend ; lire la réponse en donne seulement l'impression.
Votre réponse d’abord, celle du cours ensuite. En partie 1, vous lisez un rapport de pipeline par niveau, sans compter comme réussi un test ignoré, en erreur ou instable.
Un rapport de pipeline, lu par niveau. 13 tests sur 17 réussis, et le niveau système n'a pas été testé du tout. Chacune des 29 compétences se débloque quand vous la montrez : une exécution, une réponse notée, ou une réponse que vous avez écrite puis comparée. Jamais d'un simple clic.
Un jalon. Chaque compétence affiche la preuve qui l'a débloquée.
Ce que vous saurez faire
- Classer un comportement observable et choisir la validation qu'il demande
- Construire la preuve : un jeu de données gouverné, des métriques, des seuils, des tranches et des vetos
- Déclarer Not Ready et nommer le rôle à qui revient une décision manquante, au lieu d'inventer une valeur
- Lancer une évaluation approuvée et lire son verdict comme une preuve, pas comme une note
- Concevoir les tests d'un comportement qui a un seul bon résultat, au bon niveau, à partir d'un résultat attendu que quelqu'un a spécifié
- Mener une campagne de test et rendre compte de son état sans affirmer plus que ce qui a été testé
Votre parcours · 0 compétences sur 29
Les modules
Ouvrez un module pour voir ses leçons et les compétences qu’il débloque.
Partie 1 · Tester un produit
Pour tout produit, avec ou sans IA. Facultative si vous connaissez déjà les bases du test.
01Les bases du testCe qu'un test prouve, d'où vient son résultat attendu, et à quel niveau le prouver.64 min
Leçons et compétences
- Vous saurez prendre un résultat attendu dans une spécification, jamais dans ce que fait le code aujourd'hui.
- Vous saurez écrire un critère d'acceptation qu'on peut tester, et laisser « à confirmer » ce que personne n'a décidé, en nommant qui décide.
- Vous saurez tirer les cas d'un critère : chemin nominal, classes d'équivalence, valeurs limites et erreurs.
- Vous saurez placer chaque test au niveau le plus bas qui peut le prouver.
02Mener une campagneLa cadrer, l'exécuter, passer du KO à l'anomalie, et dire où elle en est sans affirmer plus que ce qui a été testé.62 min
Leçons et compétences
- Vous saurez lire un rapport de test sans compter comme réussi un test ignoré, en erreur ou instable, et donner à chaque exécution le bon verdict.
- Vous saurez qualifier un KO, rédiger une anomalie qu'un développeur peut reproduire, et ne la fermer que sur un nouveau test réussi.
- Vous saurez calculer les indicateurs d'une campagne et écrire un point d'avancement qui commence par ce qui n'est pas fait.
- Vous saurez annoncer un critère de sortie non atteint, avec sa preuve, et nommer qui peut accepter l'écart.
- Le cadre d'une campagne10 min
- Exécuter, et lire les résultats15 min
- Du KO à l'anomalie12 min
- Où en est-on ?10 min
- Exercice : le point, et le bilan15 min
Partie 2 · Évaluer l'IA générative
Ce qui change quand plusieurs réponses peuvent être justes, et comment prouver malgré tout que le produit est assez fiable.
Vous connaissez déjà les bases du test ? Commencez ici, au module 03.
03Première évaluationCompte gratuitLancer une vraie évaluation et la voir échouer à 96 %, avant toute théorie.25 min
Leçons et compétences
- Vous saurez lancer une évaluation et lire son verdict dans les portes, pas dans la moyenne.
- Vous saurez montrer pourquoi un seuil seul laisse passer une affirmation inventée.
- Vous saurez distinguer Not Ready de Fail, et dire pourquoi taper une valeur pour se débloquer est pire que les deux.
04Les fondationsCompte gratuitPourquoi l'IA change le test, et comment classer ce qu'on a sous les yeux.45 min
Leçons et compétences
- Vous saurez classer un comportement avec deux questions : la bonne sortie peut-elle être énoncée à l'avance, et a-t-elle été spécifiée ou annotée ?.
- Vous saurez découper une capacité hybride en comportements et énoncer la règle d'acceptation : DoD et DoT et recette.
- Vous saurez refuser de mettre un comportement à tolérance zéro derrière un seuil, même 0,9999.
05Les deux portesCompte gratuitCe que prouvent la Definition of Done et la Definition of Trustworthy, et ce qu'elles refusent de conclure.83 min
Leçons et compétences
- Vous saurez construire et lancer une porte DoD sans aucun seuil, et dire pourquoi c'est la réponse finie.
- Vous saurez noter un design DoT sur ses dix composantes et conclure Not Ready sans combler un seul manque.
- Vous saurez écrire le message qui maintient Not Ready et donne quand même à l'équipe le chemin le plus court vers une exécution.
06Ce qu'on mesureCompte gratuitLe chiffre mesure-t-il vraiment la chose ? Et quand une IA a-t-elle le droit de noter ?46 min
Leçons et compétences
- Vous saurez dire ce qu'une métrique ne voit pas avant que quiconque la cite.
- Vous saurez calculer le calibrage d'un juge, globalement et dans un sous-groupe.
- Vous saurez accepter un juge comme métrique tout en le refusant derrière un veto, et expliquer la différence.
07Concevoir la preuveCompte gratuitLe jeu de référence, la protection des données, les seuils, les tranches et les vetos.117 min
Leçons et compétences
- Vous saurez trier des défauts observés selon le degré, le sous-groupe et la nature : seuil, tranche, veto.
- Vous saurez écrire un bloc d'acceptation où chaque valeur qui n'est pas à vous reste en attente, et où chaque veto est exécutable.
- Vous saurez calculer la taille minimale d'une tranche à partir du taux d'échec que le responsable juge inacceptable.
- Vous saurez spécifier un jeu de référence sans écrire soi-même une seule réponse de référence.
08Passer à l'exécutionCompte gratuitD'un protocole à une exécution dont la preuve lui survit.58 min
Leçons et compétences
- Vous saurez transformer un brief en manifest et prédire ses blocages avant de le lancer.
- Vous saurez mettre à jour le manifest une fois que le responsable a décidé, et expliquer pourquoi une moyenne et une tranche au vert ne suffisent pas.
09La gouvernanceCompte gratuitQui décide, et comment tenir la ligne quand on vous demande d'aller vite.46 min
Leçons et compétences
- Vous saurez nommer à qui revient chaque décision dans une semaine de mise en production.
- Vous saurez tenir la limite face à un supérieur et proposer le chemin légitime le plus court.
CapstoneVotre propre dossier d'évaluationCompte gratuitÉvaluer une capacité de votre choix, et vous noter sur la grille du cours.288 min
Leçons et compétences
- Vous saurez produire les six pièces d'une évaluation pour une vraie capacité : classement, design DoT, spécification du jeu de données, manifest exécutable, état de préparation honnête et registre des décisions.
Lecture libre. Le contenu du cours ne peut pas être repris sans l'autorisation de son auteur.