Résultats de validation
Résultats quantitatifs et qualitatifs de l'étude de validation multi-domaines de MOTIVE. Scores d'évaluation, retours d'experts et tests inter-modèles.
Demographie de l'etude
Design de l'etude
L'etude de validation a utilise un design intra-sujet ou chaque participant a cree des prompts pour des taches specifiques au domaine avec et sans le framework MOTIVE.
Resultats quantitatifs
Scores moyens sur une echelle de Likert 1-5 dans tous les domaines et modeles.
Completude structurelle
Pertinence des sorties
Actionnabilite
Coherence inter-modeles
Specificite du domaine
Criteres d'evaluation
Themes qualitatifs
Reduction de la charge cognitive
Les participants ont rapporte que le format structure reduisait l'effort mental necessaire pour formuler des prompts complets.
Confiance amelioree
Les utilisateurs ont exprime une plus grande confiance dans la qualite de leurs prompts en suivant la structure MOTIVE.
Transferabilite inter-domaines
Les participants ont trouve le framework applicable dans differents contextes professionnels sans adaptation significative.
L'evaluation comme moteur
Le composant Evaluation a ete cite comme l'ajout le plus impactant, fournissant une assurance qualite auparavant manquante.
Limitations
- •La taille de l'echantillon (N=30) limite la generalisabilite ; une validation a plus grande echelle est prevue.
- •Les participants ont recu une formation MOTIVE, ce qui peut introduire un biais d'effet d'apprentissage.
- •Les sorties des modeles IA evoluent rapidement ; les resultats peuvent changer avec les mises a jour des modeles.
- •L'evaluation par experts du domaine introduit de la subjectivite malgre les grilles structurees.