Tête bien faite ou tête bien pleine ?

Entendu ce matin dans le train : « Pour le stage, je devrai rendre un rapport dans lequel je dois expliquer en quoi les modèles  me servent sur le terrain. L’année passée, ma copine X a été moflée parce qu’elle n’a pas vraiment utilisé la théorie dans son stage avec des toxicos et elle n’a pas trouvé quoi mettre dans son rapport » [étudiant d’un cursus universitaire non déterminé]

J’étais légèrement somnolent, regardant tantôt le paysage et tantôt les tweets du matin défiler mais là, ça m’a réveillé d’un coup.

Pour avoir baigné dans le monde académique dans une vie professionnelle précédente, j’avais déjà constaté que la pratique du remplissage des cerveaux par les contenus avait encore de beaux jours devant elle "grâce" à certains enseignants (et pas forcément les plus âgés) mais là, j’avoue, j'ai du mal. Evidemment je ne généraliserais pas car je connais de superbes initiatives visant à développer une approche intégrée entre monde professionnel et monde académique, entre ancrage au terrain des modèles présentés. Toutefois, j’ai quand même envie de pointer ce cas individuel… « pour analyse », disons.

Cela me fait bondir pour deux raisons majeures.

Premièrement, parce que le formateur (officiellement dénommé « enseignant », « chargé de cours » ou « professeur » dans le cas présent) est tellement certain de la validité de ses  contenus qu’il n’accepte pas la critique et la confrontation de ses fameux favoris avec la réalité du terrain. C’est gonflé tout de même… si l’étudiant ne peut pas faire de lien, c’est qu’il est incapable de saisir les grandes qualités des théories enseignées.

Le formateur devrait plutôt embrasser au quotidien la célèbre citation de Kurt Lewin : « Il n’y a rien de plus pratique qu’une bonne théorie », prendre acte et questionner SES pratiques de formateur, se rendre agile par rapport à l'évolution de la connaissance et ne pas forcément questionner les capacités de l’étudiant lorsqu'il n'arrive pas à mettre théorie et pratique en concordance. Se remettre en question continuellement est une nécessité pour un enseignant/formateur (et cette nécessité devient carrément vitale pour un formateur en entreprise)

Deuxièmement, je pense que cette proposition de faire des liens est très intéressante UNIQUEMENT si elle sert l’apprenant dans une perspective formative et certainement pas le professeur dans une perspective évaluative. Le fait de SUGGERER la mise en relation systématique aux étudiants contribue au développement/renforcement de différents talents d’analyse, de prise de vision globale, d’intégration d’infos, etc.   Le fait d’EXIGER la mise en relation est tout simplement ridicule : cela est péremptoire, ne génère aucun débat, n’apprend rien de tangible à l’apprenant (ça c’est dommage…) et,  de toute façon, si l’étudiant a un peu de «tchatche » (un autre talent qui peut être utile à d'autres égards mais peut-être pas dans ce cadre), il dupera très certainement le professeur en inventant des liens qu'il n'a jamais réellement observé.

La logique d’apprentissage ancrée sur le contenu relève du passé et ne correspond pas à la réalité du monde du travail au 21^ème siècle.  Nous voyons aujourd’hui que le cantonnement à des contenus, à des territoires intellectuels, voire à des guerres de clocher académiques représentent des dépenses inutiles d’énergie (voire d’argent) dans un monde où les cloisonnements n’ont plus cours, où l’on stimule la co-création, où les contenus sont accessibles en « open source » de façon immédiate. C'est une logique qui ne développe pas l'agilité, la capacité des apprenants à développer une vision multifactorielle/multiniveau des choses.

Ce qui intéresse aujourd’hui les employeurs (mais je peux me tromper), c’est l’acquisition de talents (ou de potentiels talents) qui contribuent à la construction de l’ensemble de leur organisation, certainement pas (ou moins) d’engager des bibliothèques humaines. C’est donc un changement de paradigme qu’il faut proposer à certains enseignants : faire le deuil de la centration sur les contenus pour stimuler leur utilisation dans le développement des talent chez ses étudiants, faire les ponts avec les autres disciplines ou domaines de travail.

Evidemment, cela touche à l'histoire du système éducatif classique dans lequel le cloisonnement des contenus et la hiérarchie entre ceux-ci (*) représentent souvent la règle… Pourtant quand on compare l’école à la vie (professionnelle) aujourd’hui, cela ressemble toujours à ceci :

  

Dans la vie, le contenu en soi ne compte plus. Cela ne sert plus à rien de remplir les têtes de formules, de textes, d'équations, de biographies, etc.  puisque la connaissance est accessible immédiatement et de partout dans le monde. Parce qu’avec ce genre de pratique, soit l'enseignant formera de bons petits soldats du savoir, des têtes bien pleines mais certainement pas des travailleurs agiles et capables de contribuer activement à notre monde en mutation.

Cette évolution dans la culture de la connaissance a d’ailleurs induit une réorientation des pratiques de « knowledge management » dans les organisations : alors que les décennies précédentes répertoriaient soigneusement les connaissances et le développement d’ingéniéries (d’usines à gaz ?) complexes basées sur le modèle (pas forcément pratique) Savoir-Connaissance-Information-Données, la gestion des connaissances, aujourd’hui, n’est (1) plus forcément du ressort de l’IT ou du « content/data management », il est aussi aux RH, à la Com, au Marketing (voire les trois à la fois) et (2), le KM a pour objectif de créer un contexte idéal pour mettre en relation des personnes qui ont des connaissances utiles avec celles qui les recherchent ou en ont besoin, de décloisonner les départements pour susciter la co-création, la collaboration, le partage de bonnes pratiques…

Bref, le KM aujourd’hui consiste à jouer le rôle de catalyseur relationnel, il assure la pérennité des connaissances d’une autre façon, sans forcément passer par le remplissage de formulaires, par la compilation du savoir dans des bases de données et des processus complexes qui ne parlent qu’à ceux qui les ont créés.  Il valorise les communautés de pratiques, il développe et anime des réseaux sociaux virtuels ou physiques (je n’oppose pas virtuel à réel parce qu’une réseau virtuel est un réseau réel), il connaît les employés, il a une vision claire sur le « business », il contribue à accompagner les services opérationnels pour améliorer leur fonctionnement, valoriser les bonnes pratiques, stimuler l’innovation (en considérant aussi les erreurs comme des éléments d’apprentissage plutôt que comme des prétextes de sanctions). Trois mots guident sa mission : collaboration, partage, innovation, simplicité (oups, il y en a 4 finalement)

Mais peut-être me suis-je emballé et suis-je parti du présupposé que l’étudiant avait bien intégré la question du professeur ?  Je ne le saurai jamais et ce n’est pas bien grave puisque, finalement cela m’aura permis (1) de me mettre en éveil plus rapidement et (2) de développer une réflexion toute personnelle sur mon métier, sur le statut du savoir et du sens de l'accumulation des connaissances à notre époque…

Belle journée.

(*) Nous avons tous connu cela à l'école et dès notre plus jeune âge : la supériorité perçue des options mathématiques sur les options latines ou à un niveau plus global, la supériorité ridiculement valorisée de l'enseignement général sur l'enseignement technico-professionnel). Nous aurions l'air malin dans un monde rempli de mathématiciens devant cueillir des baies et construire des huttes...

PS : certains d'entre vous auront remarqué que le mot agile/agilité est récurrent dans ce texte. C'est une pratique volontaire pour mettre implicitement en évidence ce concept comme pierre d'achoppement entre tête bien faite et tête bien pleine.

La formation, ça sert à rien...

Quel RH n'a jamais entendu cette phrase provocatrice dans la bouche de l'un ou l'autre collègue : "la formation, ça sert à rien...", cette phrase péremptoire qui représente en quelque sorte le point Godwin pour tout RH engagé et professionnel qui l'entend.

 

Malheureusement, c'est le genre de message qui peut faire son chemin en entreprise parce que, effectivement, il est très difficile de mesurer les effets réels d'une formation, tant pour les collaborateurs que pour l'organisation. Mettre en relation des actions de formation avec les résultats de l'entreprise relève souvent du rêve, tant il existe de facteurs pouvant modérer voire supprimer les effets de la formation. Et c'est encore bien plus vrai pour les entreprises qui sont engagées dans des changements importants, avec toutes les étapes que l'on observe dans l'évolution du changement, les réactions colelctives et individuelles, etc.

 

Toutefois, cette réponse ne suffit pas à des top managers avides de ROI, de KPI's et autres "I" qui matérialisent les résultats des actions entreprises. Ils veulent des performances et, c'est légitime à notre époque, des preuves que l'argent qu'ils dépensent dans des programmes de formation sont traduits en bénéfices concrets.

 

On touche donc au problème du niveau de mesure du transfert, à ce qu'on peut appeler le ROTI (Return On Training Investment).
 

Mesurer les effets d'une formation ? oui, mais les effets sur quoi ?

A la fin des années 50 (comme quoi la préoccupation n'est pas récente), Donald Kirkpatrick a développé un modèle qui spécifie précisément les niveaux sur lesquels une formation peut avoir un effet.

 

La figure ci-dessous illustre ces niveaux dont la complexité est croissante, tant en ce qui concerne la méthode de mesure à développer que les variables qui interfèrent dans les effets de la formation.

 

Le niveau 1 est le plus simple, c'est la réaction, la satisfaction à chaud par rapport à la formation, la réponse affective. C'est ce que mesurent classiquement plus de 75% des entreprises, en considérant parfois à tort que la satisfaction suffit à valider la qualité d'un programme.

 

Toutefois, une personne peut être satisfaite de la formation suivie (particulièrement si l'animateur de formation était très habile pour se faire apprécier de ses participants) sans pour autant avoir appris quelque chose d'utile pour son travail. On touche donc ici au niveau 2, celui de l'apprentissage : est-ce que la formation m'a appris quelque chose ? Ai-je acquis de nouvelles connaissances, exercé de nouvelles compétences ? Là, ça devient tout de suite plus compliqué et le taux d'entreprises qui se lancent dans des mesures de ce ne niveau n'atteint pas les 40%. Et pour cause, cela amène les responsables formateurs à développer des mesures coûteuses (en argent ou en énergie) dont le rapport coût/bénéfice n'est pas forcément intéressant (examen après la formation, évaluation pré- post- formation, bilan de connaissances, etc.)

 

Petit partage de pratique (à vous de juger si elle est bonne ou pas) :
 
Il y a quelques années, j'ai développé une approche pragmatique pour appréhender ce niveau : outre les quelques questions de satisfaction, je demandais (via questionnaire, vu le nombre d'employés) aux participants en fin de formation de se positionner sur la maîtrise des connaissances ciblées simultanément avant et après formation. Il suffit ensuite de calculer le différentiel entre les valeurs au niveau individuel et du groupe de formation.

 

Prenons un exemple vague pour faciliter la compréhension : vous organisez une formation à la vente et parmi les objectifs de la formation, vous avez déterminé "Identifier les différentes étapes d'une relation commerciale réussie" comme un apprentissage déterminant. En fin de formation, vous reprendrez cet objectif et demanderez aux participants d'évaluer quel était leur niveau de maîtrise avant formation sur une échelle de 1 à 7 ET leur niveau perçu au terme de la formation sur une deuxième échelle de 1 à 7. Cela évite de mettre en place deux temps de mesures réels (lourds) et évite la surestimation de ses connaissances avant formation (cela serait fâcheux et moins valide conceptuellement de voir une personne se positionner à 6 avant la formation puis à 5 au terme de celle-ci).

 

La différence entre les deux valeurs vous fournit une indication sur l'ampleur de l'apprentissage.  Mieux : vous pouvez tenir compte du niveau de départ du groupe de formation pour relativiser cette différence (i.e., plus le niveau est élevé au départ, moins il reste de marge de progression et donc plus il est difficile d'améliorer encore la connaissance). Il suffit dès lors de se fixer un niveau minimal pour conclure si oui ou non le niveau d'apprentissage répond aux exigences fixées.

 

Ce n'est certes pas l'apprentissage objectif qui est mesuré. C'est un niveau d'apprentissage auto-déclaré mais qui a l'avantage d'être rapide et facile à implémenter. Comme l'impression d'avoir appris quelque chose impacte le transfert de ces connaissances sur le terrain, cela donne déjà une bonne indication qui va au-delà de la satisfaction.

 

Les autres niveaux sont plus complexes et sont rarement appréhendés. Principalement parce qu'il devient très contraignant (ou impossible) d'en mesurer les effets en les isolant du contexte général de l'organisation.

 

Le niveau 3 touche (enfin) au transfert, au changement de comportement induit par la formation. Tenter de mesurer ce niveau mène généralement au développement d'"usines à gaz" avec des procédures de mesures lourdes et complexes. Il est sans doute préférable de ne pas tenter de quantifier ce niveau mais plutôt de développer une approche qualititative qui consiste à demander aux participants, quelques semaines après la formation, ce qu'ils ont appliqué et comment la formation a amélioré leur performance dans leurs activités, par exemple. Moins de 15% des entreprises se lancent d'ailleurs dans la mesure  du ROTI à ce niveau.

 

Le niveau 4 touche aux résultats de l'organisation (résultats opérationnels, financiers, etc.), donc on touche le ROI pur et dur. Les entreprises qui se lancent en quête 'indicateurs à ce niveau de mesure sont rares et pour cause : tous les éléments externes qui impactent l'entreprise sont autant d'éléments qui diluent les effets d'un programme de formation, déjà difficiles à isoler aux niveaux précédents.





De l'approche par "bilan" à l'approche par "diagnostic"

Vous vous attendiez à avoir des informations pour savoir comment mesurer ce fichu transfert et il n'en est rien ?  vous avez raison, je n'ai pas fait avancer votre "schmilblick". Si vous avez lu d'autres articles sur ce blog, vous saurez qu'il ne faut pas compter sur moi pour developper un dispositif de mesures complexes, lourdes ,dont la valeur ajoutée est inversément proportionnelle aux ressources dépensées.

 

Partant de l'hypothèse (vérifiée, renforcée et re-renforcée par la littérature scientifique) qu'il existe des facteurs qui impactent positivement ou négativement les effets bénéfiques d'une formation, il est possible d'identifier ces variables, d'en dresser la "cartographie" au sein de l'entreprise pour mettre en place des actions correctrices qui permettent d'améliorer les éléments négatifs et de renforcer les leviers positifs.



Extrait de : Peters Stéphanie, Liégeois Arnaud, & Faulx Daniel (2010). Evaluer et renforcer l'efficacité des formations professionnelles. Communication présentées au 16ème congrès de l'AIPTLF (Lille, 6-9 juillet)



C'est pourquoi je vous propose de sortir de la prison du ROI, de l'approche par bilan, et de libérer au passage vos managers de ces chaînes pour adopter une approche diagnostique, axée sur l'intervention et l'action.

 

Le modèle de Holton (voir figure ci-dessous) permet de rendre compte des différents facteurs qui entrent en ligne de compte et des niveaux sur lesquels ils ont un impact. Vous constaterez que les différents niveaux du modèle de Kirkpatrick sont repris dans ce modèle avec une particularité : Holton considère les réactions (la satisfaction) comme un élément de contexte qui favorise l'apprentissage mais certainement pas comme un élément de résultat en soi.

 

Extrait de : Peters Stéphanie, Liégeois Arnaud, & Faulx Daniel (2010). Evaluer et renforcer l'efficacité des formations professionnelles. Communication présentées au 16ème congrès de l'AIPTLF (Lille, 6-9 juillet)

 

La démarche consiste alors à questionner l'organisation sur l'état des différents facteurs en effectuant une étude : par questionnaire (p.ex., Holton a développé le  LTSI, Learning Transfert System Inventory, dont la version française a été validée par Xavier Dumay, UCL), via des focus groups, via entretiens/interviews structurées, etc. en fonction de la méthodologie qui colle le mieux à la réalité de votre organisation et de vos moyens. Chaque facteur présenté dans le modèle est évidemment décrit de façon précise et décomposables en sous-facteurs pour mieux cerner leur contenu. Il est possible de trouver davantage de détails sur le modèle général en faisant quelques recherches sur internet.

 

Pour ma part, j'ai saisi l'opportunité de collaborer en win-win avec Stéphanie Péters, chercheuse d'un service universitaire de l'ULg, pour réaliser cette analyse de façon indépendante. Cela nous a permis d'obtenir des résultats très intéressants pour diagnostiquer les variables, d'examiner le transfert auto-déclaré par les participants plusieurs semaines après leur formations et de développer un plan d'action pour améliorer la situation, avec une grande certitude (statistique) nos actions auraient un impact positif sur les résultats sans devoir développer d'indicateurs de ROI articifiels ou approximatifs.

Il n'est évidemment pas nécessaire d'entrer dans une perspective aussi poussée si vous n'avez pas ce genre d'opportunité de collaboration. De façon simple, le modèle de Holton peut vous servir de "boussole" pour récolter des informations dans l'entreprise, insérer quelques items sur la motivation à transférer, l'implication volontaire dans la formation, etc., dans votre questionnaire de "satisfaction", établir un canevas pour des entretiens post-formationn etc. choses que je faisais avant de collaborer avec Stéphanie. Inutile aussi de sortir l'artillerie lourde du LTSI dans une organisation de petite taille, ce serait "tuer une mouche avec un canon".

 

Sur le plan pratique, cette approche permet ainsi de construire une matrice de transfert. Cette matrice identifie en lignes les acteurs-clés (manager, apprenant, HR, formateur, etc.) et en colonnes les moments avant-pendant-après formation. Le travail consiste alors à remplir les cases avec les actions de renforcement du transfert pour chaque acteur et à chaque moment, en exploitant les résultats de l'analyse diagnostique.

En résumé : l'exercice peut sembler fastidieux et il peut l'être si on se lance dans une méthodologie qui demande des traitements trop complexes. C'est pourquoi il vaut mieux privilégier l'approche la plus pragmatique et efficiente possible, c'est-à-dire celle qui colle à votre réalité, qui vous permet d'atteindre votre objectif en dépensant le moins de ressources possibles.

 

Gardez juste une chose à l'esprit : vous devrez réaliser cette analyse une seule fois pour pouvoir commencer à développer un plan d'action cohérent. Par contre, si vous conservez la perspective "bilan", chaque formation appelera des mesures systématiques et des actions correctives permanentes. Grâce au diagnostic, vous aurez donc l'opportunité de développer une stratégie prévisionnnelle plutôt que réactive, cela vaut bien un effort.

Le temps ne fait rien à l'affaire...

Une dernière chose... jusqu'ici nous avons évoqué la problématique des effets de la formation mais il reste à évoquer l'ampleur et la dimension temporelle de ceux-ci.

 

Il est évident que l'on transfère rarement (sauf apprentissages techniques très spécifiques comme l'utilisation d'une machine) 100% de ce que nous avons appris dans une formation. la mémoire est ainsi, après un an elle ne retient que 10% d'une connaissance apprise si celle-ci n'a pas été réactivée ou n'est pas utilisée. Illustration parlante : pensez-vous que vous auriez réussi un examen à l'université si vous y aviez répondu 1 an après avoir appris la matière ?

 

Il en va de même pour les formations professionnelles : plus le temps passe et moins il en reste quelque chose. D'où l'importance de concevoir des programmes de formation qui favorisent la réactivation et l'utilisation des apprentissages de façon récurrente.

 

Par ailleurs, je l'ai implicitement laissé comprendre ci-dessus : si le transfert peut être (bien heureusement) très important juste après la fin d'une formation technique/métier, ce n'est absolument pas le cas des formations sur des thèmes "soft skills" (i.e., communication, management, etc.) dont les concepts et applications sont parfois plus difficiles à mettre en application, parce qu'ils appellent des changements importants en terme de fonctionnement individuel.

 

Le tableau ci-dessous reprend des taux de transfert observés par différents auteurs, à différents moment et avec différentes méthodes.

 

Une image pour terminer : retenons que le transfert est à la formation ce que le rendement est au moteur d'une voiture : pour 1 litre de carburant injecté dans le moteur, seul un tiers va réellement entraîner le moteur, produire l'énergie cinétique qui met le véhicule en mouvement. Le reste de l'énergie se perd dans les forces de résistances et le moteur sera encore moins rentable si on le laisse refroidir... (les spécialistes en mécanique me pardonneront si l'image n'est pas suffisamment précise).