▶️ #IA4Sup

Voici les liens évoqués :
Présentation des 4 ressources que nous avons créé pour vous former aux IAg. Vous trouverez ces ressources via les liens suivants :

https://view.genially.com/666ef942bae9a8001443f03a/interactive-content-les-iag-comment-ca-marche

https://view.genially.com/666ca568bae9a80014edca15/interactive-content-utilisation-responsable-des-iag

https://view.genially.com/66d857380ca1493d5867ca28/interactive-content-rediger-un-bon-prompt

https://view.genially.com/66d5de9c4c58e17b32519e20/interactive-content-comment-utiliser-les-iag-a-luniversite

Céline Averseng et Maximilien Dossa
———————————————————————————————-
Pour en savoir plus sur la communauté #ia4sup https://ia4sup.notion.site
———————————————————————————————
N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos
et suivez moi sur twitter http://www.twitter.com/batier
et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com/

Enquête sur les pratiques d’IA chez les étudiants de l’Université de Tours :

Portée et objectifs de l’enquête :

L’enquête, lancée en janvier-février 2025, visait à mieux comprendre les pratiques de travail universitaire des étudiants (gestion du temps, méthodes de révision, recours aux outils numériques, dont l’IA).

Réalisée auprès de plus de 20 000 étudiants, elle a recueilli 3 500 réponses exploitables, couvrant toutes les filières et niveaux d’études (Licence, BUT, Master, filière santé, etc.).

Adoption massive de l’IA générative :

78% des étudiants déclarent avoir utilisé des IA génératives au moins ponctuellement ;
31% en font un usage hebdomadaire.

L’adoption varie selon la filière : usage plus élevé en école d’ingénieur, management, BUT, IAE, Polytech ; plus faible usage en médecine et sciences humaines.

Outils privilégiés :

ChatGPT arrive largement en tête (utilisé par 93% des répondants), suivi par DeepL et autres outils de traduction ou de rédaction.

Types d’usages :

En moyenne, chaque étudiant identifie 3,5 usages différents de l’IA.

Usage principal : compréhension et analyse de notions ou concepts (59%).

Autres usages : reformulation/amélioration de textes (57%),
création de QCM, de fiches de révision, génération de plans ou de premiers jets de travaux.

La diversité des usages augmente avec la fréquence d’utilisation.

Bénéfices perçus :

Gains de temps (93%) et sentiment d’efficacité (71%) sont les principaux atouts reconnus.

Les effets sur les résultats académiques et le développement des compétences restent jugés plus mitigés (près de la moitié des étudiants perçoivent une amélioration).

Des différences de perception existent selon les filières, corrélées à l’intensité d’usage.

Limites et craintes identifiées :

En moyenne, les étudiants expriment trois craintes par personne
(seuls 12% n’identifient aucune limite).

Principal point d’inquiétude : la fiabilité des informations fournies par l’IA.

Autres craintes fréquentes : perte d’autonomie, risque de dépendance, perte de motivation.

Les non-utilisateurs ou usagers très occasionnels expriment davantage de réserves.

Besoin de cadrage et de régulation :

78% des étudiants souhaitent que l’université fixe des règles pour encadrer l’usage de l’IA,
mais l’interdiction pure reste très impopulaire.

Les usages spécifiques ainsi que le besoin d’autonomie influencent l’intensité de cette demande.

Conséquences et actions institutionnelles :

Les résultats de l’enquête ont alimenté la réflexion et le vote d’une charte sur les usages de l’IA à l’université, approuvée par le Conseil de formation et de la vie universitaire.

Expérimentations et formations en cours ou à venir autour de l’IA (avec Mistral et le réseau VSR notamment).

Pour l’instant, le principal impact est une meilleure observation, la structuration du cadre, et la mise en place progressive d’expérimentations, en fonction des besoins identifiés.

Ouverture sur l’avenir :

Pas encore d’enquête équivalente auprès des enseignants, mais l’équipe est ouverte à en mener si le besoin s’en fait sentir.

Les résultats détaillés et les visualisations des données sont accessibles via un rapport interactif pour la communauté.

L’enquête révèle une adoption rapide mais contrastée de l’IA générative selon les disciplines, une demande forte pour un cadrage institutionnel, des bénéfices reconnus principalement en termes de temps et d’efficacité, mais aussi des réserves importantes sur la fiabilité et l’autonomie des apprentissages.

Retrouvez les données présentées
https://www.sphinx.univ-tours.fr/dataviv/r/ove/ManiereEtudeAnalyse/6637afdf-d2ad-4e1d-a004-3b61907174e3?c=!CfDJ8Bz1-4Hl-zRGvKVMA6s4OFRTvKbESJEKFvP8fE44k1KeOuKv75IUnCvZrCWvJ1kNbdMcsZ7svCINi7FTmSex3_Y8fmpdhU7QV3gTnPi84hqB7npDVX1u_Mk-zojx2CEnw_I3b1VMF_x_G792u5ZGyQiaBNtieYvGJat0n0Woc0DH

——————————————————————————
Vous trouverez + d’info sur la communauté #ia4sup
https://ia4sup.notion.site
—————————————————————————

N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos
et suivez moi sur twitter http://www.twitter.com/batier
et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com/

+d’info sur la communauté #ia4sup
https://ia4sup.notion.site

N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos
et suivez moi sur twitter http://www.twitter.com/batier
et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com/

Résumé de l’intervention de Mario Asselin :

Mario Asselin est venu nous présenter l’instance de concertation nationale sur l’IA dans l’enseignement supérieur au Québec qui réuni 38 membres de divers horizons (étudiants, enseignants, représentants institutionnels, experts en IA, membres des ministères), active depuis un an, ayant déjà mené six consultations.

Objectif : élaborer une vision commune pour l’usage de l’IA dans l’enseignement supérieur.

Vision partagée : Fédérer la communauté autour de la démocratisation de l’IA, promouvoir un usage efficient, responsable, cohérent et éthique de l’IA, garantir la qualité de la formation pour tous et viser l’excellence en recherche, tout en respectant l’autonomie des établissements et la liberté académique.

Cinq principes directeurs :
Respect de l’intégrité académique dans l’usage de l’IA.
Développement d’une littératie de l’IA pour une utilisation critique et éclairée.
Adoption de pratiques éthiques exemplaires autour de l’IA.
Démocratisation de l’intelligence artificielle dans tous les milieux éducatifs.
Exploration du potentiel pédagogique de l’IA pour la réussite éducative et l’avancement des connaissances.

Actions concrètes lancées : Mandat donné au consortium Ivado pour produire un guide d’utilisation de l’IA destiné à l’enseignement supérieur québécois, qui sera rendu public à terme.

Exemple d’innovation locale : Présentation d’Émilia, un outil d’IA développé au Collège Sainte-Anne-de-Lachine pour la correction automatisée du français au secondaire, déjà testé dans six centres scolaires, permettant un gain de temps significatif pour les enseignants (jusqu’à 45 minutes par copie).

Dynamique d’adoption au Québec : Après une période de méfiance marquée par la crainte de la triche, le secteur éducatif entre dans une phase plus active d’expérimentation, même si les startups EDTECH sont encore peu présentes. L’IA est pour l’instant plus utilisée dans l’entreprise, mais les expérimentations dans l’éducation progressent.

Acteurs de la transformation : Mention d’organismes conseils comme ECOESIA qui accompagnent la transformation numérique, mais la structuration de l’écosystème start-up éducatif autour de l’IA reste en devenir, contrairement à d’autres pays comme la France.

Cette intervention souligne l’avance prise par le Québec dans la coordination nationale autour de l’IA dans l’enseignement supérieur, l’importance de l’éthique, de la diffusion des bonnes pratiques et d’initiatives innovantes concrètes comme Émilia, tout en pointant les spécificités et les étapes qui restent à franchir pour approfondir l’intégration de l’IA dans l’éducation.

Fiche #IA4Sup sur l’instance de concertation au Quebec évoquée pendant ce meeting
https://ia4sup.notion.site/Qu-bec-annonce-la-composition-officielle-de-l-Instance-de-concertation-nationale-sur-l-intelligence–eb8a4c4d93a646daa3fc8f7a244f8314?source=copy_link

Pour avoir plus d’info sur la communauté #ia4sup
https!//ia4sup.notion.site

N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos
et suivez moi sur twitter http://www.twitter.com/batier
et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com/

Pour en savoir plus sur la communauté #IA4Sup rendez vous sur
https://ia4sup.notion.site

N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos
et suivez moi sur twitter http://www.twitter.com/batier
et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com/

0:04 introduction
1:37 L’impact du numérique sur l’éducation
4:02 l’Evolution de l’intelligence artificielle et de l’hybridation dans l’enseignement supérieur
5:42 L’impact de l’Intelligence Artificielle et des technologie sur l’éducation
11:38 L’impact des technologies et de l’IA sur l’éducation et la pédagogie
20:34 L’impact des technologies sur l’humanité de l’écriture et la dévolution cognitive
23:17 La taxonomie de Bloom et les compétences de base dans l’apprentissage automatique
26:43 Tendances et défis dans l’enseignement à l’ère de l’intelligence artificielle et de l’intelligence Artificielle
29:42 L’intelligence artificielle et l’enseignement : un débat sur les objectifs, l’évaluation et l’implication hum
39:17 L’impact de l’intelligence artificielle et de l’Internet sur l’éducation
46:24 L’hybridation dans l’enseignement et la recherche de la meilleure apprentissage
48:50 Éducation hybride et impact des facteurs actifs sur la motivation et l’apprentissage
57:13 Discussion sur l’intelligence artificielle générative et l’apprentissage hybride

Retrouvez plus d’info sur ce webinaire sur
(support de présentation corpus de la conversation, réponses aux questions écrites…)
https://ia4sup.notion.site/Webinaire-IA4Sup-Marcel-Lebrun-l-hybridation-l-re-de-l-IA-226b523c93f48002b690c6d87d9d165d?source=copy_link

+ d’info sur la communauté #ia4sup
https://ia4sup.notion.site

N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos
et suivez moi sur twitter http://www.twitter.com/batier
et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com/

+ d’info sur la communauté #IA4Sup
https://ia4sup.notion.site

Dans cette deuxième Présentation : Retour sur les Propositions Précédentes
vidéo 17 avril 2025 https://www.youtube.com/watch?v=45Rmouhs1qg

Cette session a approfondi l’analyse en intégrant de nouvelles suggestions issues de la première présentation.

Nouvelles configurations et évaluateurs :
Ajout de configurations RAG fictives : une avec des « réponses excellentes » (pour vérifier la cohérence de l’évaluation) et une avec des « réponses complètement à côté du sujet » (pour le bas du classement).
Variation exclusive du « chunking » pour une même configuration.
Intégration de quatre LLM évaluateurs supplémentaires (ChatGPT 4.1, Llama 3.3 70B AWQ, Llama 3.3 70B dynamic, Mistral-Small 3.1 24B) en plus de DeepSeek V3, pour pallier un biais potentiel.
Paramétrage de la « température » et du « top P » pour chaque évaluateur, avec une analogie gourmande pour expliquer ces concepts.

Analyse statistique des évaluateurs (avec Jamovi) :
ANOVA Oneway : Révèle deux groupes distincts d’évaluateurs en termes de notation : le Groupe 1 (DeepSeek V3, Llama 3.3 AWQ, Llama 3.3 dynamic) note systématiquement plus haut que le Groupe 2 (ChatGPT 4.1, Mistral-Small 3.1), suggérant un problème de calibration entre les LLM évaluateurs.
Corrélation de Spearman : Montre une « cohérence exceptionnellement forte » (coefficients supérieurs à 0.95) entre tous les LLM évaluateurs, ce qui indique que leur logique de jugement est très similaire. Les deux versions compressées de Llama 3.3 ont la cohérence maximale (0.994), tandis que Mistral-Small 3.1 est le moins aligné.
ICC (Interclass Correlation) : Confirme une logique de jugement « remarquablement cohérente et fiable » entre les évaluateurs, le principal axe d’amélioration étant l’harmonisation de leurs échelles propres.
Coefficient de concordance (fiabilité intra-évaluateur) : Évalue la reproductibilité de la note par un même LLM évaluateur sur deux sessions distinctes. Llama 3.3 Dynamic affiche une concordance parfaite (CCC=1), tandis que Mistral-Small 3.1 présente une dispersion légèrement plus élevée. Cependant, toutes les concordances sont jugées « bien acceptables pour noter ».

Classement final des 90 configurations RAG (évaluées par Llama 3.3 70B Dynamic fp8) :
La configuration fictive avec « 15 réponses excellentes » arrive première, confirmant la validité de l’évaluateur.
La configuration Open Web UI (avec 3 articles, embedding bge-m3, chunking 1000/200, générateur DeepSeek V3, bge-reranker-v2-m3) se classe deuxième.
Google Notebook LM arrive en troisième position, ce qui montre que des systèmes RAG configurés manuellement peuvent rivaliser avec des solutions commerciales optimisées.
La configuration fictive « réponses complètement à côté du sujet » arrive bien dernière (rang 90).

Impact des paramètres spécifiques :
Quantification : La quantification d’un modèle (ex: Mistral-Small 31 en Q4 vs. bf16) peut significativement dégrader la qualité des réponses (chute du rang 7 à 34).
LLM Générateur et Chunking : L’influence du LLM générateur est manifeste, et le « chunking » optimal varie selon le LLM utilisé (par exemple, Llama 3.1 préfère 1000 tokens, Llama 3.3 préfère 250, DeepSeek V3 préfère 1000 tokens avec recouvrement de 200).

Questions discriminantes :
La question la plus discriminante (pour tous les LLM et configurations) était la question 10 :  » Qui sont les auteurs de l’article « Detection and characterization of icy cavities on the nucleus of comet 67P/Churyumov–Gerasimenko » ? Il y avait en effet confusion entre auteurs de l’article et la longue liste des auteurs dans la bibliographie pour nombre de configurations de RAG.
Pour l’évaluateur Llama 3.3 dynamic, la question 9 (« Comment sont nommées ces SAPs ? ») était la plus discriminante, soulignant la difficulté à lier « SAP », « Subsurface Access Point » et « cavité glacée » pour nombre de configurations RAG.

Conclusion Générale et Perspectives

Le travail de David Romeuf est une contribution à la compréhension de l’impact des hyperparamètres sur la performance des systèmes RAG. Il démontre la capacité des LLM à aider dans l’évaluation et l’analyse de vastes ensembles de données, agissant comme de véritables assistants pour gagner du temps. Bien que considéré comme un « test » et non comme un travail académique formel, cette démarche est utile pour les praticiens.

Des pistes d’amélioration futures incluent l’exploration plus approfondie du « chunking » avec des tests plus granulaires, la variation d’autres hyperparamètres, l’intégration de plus de juges LLM pour la validation croisée, et l’extension des tests à des domaines de connaissance différents (ici astrophysique mais tester les sciences humaines) pour voir l’influence du type de contenu sur les configurations optimales.

+ d’info sur la communauté
https://ia4sup.notion.site

+ d’info pour ce machon christophe.batier@univ-lyon1.fr
+ d’info sur la communauté #ia4sup https://ia4sup.notion.site

N’oubliez pas de vous abonner vous à ma chaine pour suivre les nouvelles vidéos

et retrouvez d’autres travaux sur mon blog :
https://christophe-batier.blogspot.com

Retrouvez la communauté #ia4sup
https://ia4sup.notion.site