Quel RH n'a jamais entendu cette phrase provocatrice dans la bouche de l'un ou l'autre collègue : "la formation, ça sert à rien...", cette phrase péremptoire qui représente en quelque sorte le point Godwin pour tout RH engagé et professionnel qui l'entend.
Malheureusement, c'est le genre de message qui peut faire son chemin en entreprise parce que, effectivement, il est très difficile de mesurer les effets réels d'une formation, tant pour les collaborateurs que pour l'organisation. Mettre en relation des actions de formation avec les résultats de l'entreprise relève souvent du rêve, tant il existe de facteurs pouvant modérer voire supprimer les effets de la formation. Et c'est encore bien plus vrai pour les entreprises qui sont engagées dans des changements importants, avec toutes les étapes que l'on observe dans l'évolution du changement, les réactions colelctives et individuelles, etc.
Toutefois, cette réponse ne suffit pas à des top managers avides de ROI, de KPI's et autres "I" qui matérialisent les résultats des actions entreprises. Ils veulent des performances et, c'est légitime à notre époque, des preuves que l'argent qu'ils dépensent dans des programmes de formation sont traduits en bénéfices concrets.
On touche donc au problème du niveau de mesure du transfert, à ce qu'on peut appeler le ROTI (Return On Training Investment).
Mesurer les effets d'une formation ? oui, mais les effets sur quoi ?
A la fin des années 50 (comme quoi la préoccupation n'est pas récente), Donald Kirkpatrick a développé un modèle qui spécifie précisément les niveaux sur lesquels une formation peut avoir un effet.
La figure ci-dessous illustre ces niveaux dont la complexité est croissante, tant en ce qui concerne la méthode de mesure à développer que les variables qui interfèrent dans les effets de la formation.
Le niveau 1 est le plus simple, c'est la réaction, la satisfaction à chaud par rapport à la formation, la réponse affective. C'est ce que mesurent classiquement plus de 75% des entreprises, en considérant parfois à tort que la satisfaction suffit à valider la qualité d'un programme.
Toutefois, une personne peut être satisfaite de la formation suivie (particulièrement si l'animateur de formation était très habile pour se faire apprécier de ses participants) sans pour autant avoir appris quelque chose d'utile pour son travail. On touche donc ici au niveau 2, celui de l'apprentissage : est-ce que la formation m'a appris quelque chose ? Ai-je acquis de nouvelles connaissances, exercé de nouvelles compétences ? Là, ça devient tout de suite plus compliqué et le taux d'entreprises qui se lancent dans des mesures de ce ne niveau n'atteint pas les 40%. Et pour cause, cela amène les responsables formateurs à développer des mesures coûteuses (en argent ou en énergie) dont le rapport coût/bénéfice n'est pas forcément intéressant (examen après la formation, évaluation pré- post- formation, bilan de connaissances, etc.)
Petit partage de pratique (à vous de juger si elle est bonne ou pas) :
Il y a quelques années, j'ai développé une approche pragmatique pour appréhender ce niveau : outre les quelques questions de satisfaction, je demandais (via questionnaire, vu le nombre d'employés) aux participants en fin de formation de se positionner sur la maîtrise des connaissances ciblées simultanément avant et après formation. Il suffit ensuite de calculer le différentiel entre les valeurs au niveau individuel et du groupe de formation.
Prenons un exemple vague pour faciliter la compréhension : vous organisez une formation à la vente et parmi les objectifs de la formation, vous avez déterminé "Identifier les différentes étapes d'une relation commerciale réussie" comme un apprentissage déterminant. En fin de formation, vous reprendrez cet objectif et demanderez aux participants d'évaluer quel était leur niveau de maîtrise avant formation sur une échelle de 1 à 7 ET leur niveau perçu au terme de la formation sur une deuxième échelle de 1 à 7. Cela évite de mettre en place deux temps de mesures réels (lourds) et évite la surestimation de ses connaissances avant formation (cela serait fâcheux et moins valide conceptuellement de voir une personne se positionner à 6 avant la formation puis à 5 au terme de celle-ci).
La différence entre les deux valeurs vous fournit une indication sur l'ampleur de l'apprentissage. Mieux : vous pouvez tenir compte du niveau de départ du groupe de formation pour relativiser cette différence (i.e., plus le niveau est élevé au départ, moins il reste de marge de progression et donc plus il est difficile d'améliorer encore la connaissance). Il suffit dès lors de se fixer un niveau minimal pour conclure si oui ou non le niveau d'apprentissage répond aux exigences fixées.
Ce n'est certes pas l'apprentissage objectif qui est mesuré. C'est un niveau d'apprentissage auto-déclaré mais qui a l'avantage d'être rapide et facile à implémenter. Comme l'impression d'avoir appris quelque chose impacte le transfert de ces connaissances sur le terrain, cela donne déjà une bonne indication qui va au-delà de la satisfaction.
Les autres niveaux sont plus complexes et sont rarement appréhendés. Principalement parce qu'il devient très contraignant (ou impossible) d'en mesurer les effets en les isolant du contexte général de l'organisation.
Le niveau 3 touche (enfin) au transfert, au changement de comportement induit par la formation. Tenter de mesurer ce niveau mène généralement au développement d'"usines à gaz" avec des procédures de mesures lourdes et complexes. Il est sans doute préférable de ne pas tenter de quantifier ce niveau mais plutôt de développer une approche qualititative qui consiste à demander aux participants, quelques semaines après la formation, ce qu'ils ont appliqué et comment la formation a amélioré leur performance dans leurs activités, par exemple. Moins de 15% des entreprises se lancent d'ailleurs dans la mesure du ROTI à ce niveau.
Le niveau 4 touche aux résultats de l'organisation (résultats opérationnels, financiers, etc.), donc on touche le ROI pur et dur. Les entreprises qui se lancent en quête 'indicateurs à ce niveau de mesure sont rares et pour cause : tous les éléments externes qui impactent l'entreprise sont autant d'éléments qui diluent les effets d'un programme de formation, déjà difficiles à isoler aux niveaux précédents.
De l'approche par "bilan" à l'approche par "diagnostic"
Vous vous attendiez à avoir des informations pour savoir comment mesurer ce fichu transfert et il n'en est rien ? vous avez raison, je n'ai pas fait avancer votre "schmilblick". Si vous avez lu d'autres articles sur ce blog, vous saurez qu'il ne faut pas compter sur moi pour developper un dispositif de mesures complexes, lourdes ,dont la valeur ajoutée est inversément proportionnelle aux ressources dépensées.
Partant de l'hypothèse (vérifiée, renforcée et re-renforcée par la littérature scientifique) qu'il existe des facteurs qui impactent positivement ou négativement les effets bénéfiques d'une formation, il est possible d'identifier ces variables, d'en dresser la "cartographie" au sein de l'entreprise pour mettre en place des actions correctrices qui permettent d'améliorer les éléments négatifs et de renforcer les leviers positifs.
 |
| Extrait de : Peters Stéphanie, Liégeois Arnaud, & Faulx Daniel (2010). Evaluer et renforcer l'efficacité des formations professionnelles. Communication présentées au 16ème congrès de l'AIPTLF (Lille, 6-9 juillet) |
C'est pourquoi je vous propose de sortir de la prison du ROI, de l'approche par bilan, et de libérer au passage vos managers de ces chaînes pour adopter une approche diagnostique, axée sur l'intervention et l'action.
Le modèle de Holton (voir figure ci-dessous) permet de rendre compte des différents facteurs qui entrent en ligne de compte et des niveaux sur lesquels ils ont un impact. Vous constaterez que les différents niveaux du modèle de Kirkpatrick sont repris dans ce modèle avec une particularité : Holton considère les réactions (la satisfaction) comme un élément de contexte qui favorise l'apprentissage mais certainement pas comme un élément de résultat en soi.
 |
| Extrait de : Peters Stéphanie, Liégeois Arnaud, & Faulx Daniel (2010). Evaluer et renforcer l'efficacité des formations professionnelles. Communication présentées au 16ème congrès de l'AIPTLF (Lille, 6-9 juillet) |
La démarche consiste alors à questionner l'organisation sur l'état des différents facteurs en effectuant une étude : par questionnaire (p.ex., Holton a développé le LTSI, Learning Transfert System Inventory, dont la version française a été validée par Xavier Dumay, UCL), via des focus groups, via entretiens/interviews structurées, etc. en fonction de la méthodologie qui colle le mieux à la réalité de votre organisation et de vos moyens. Chaque facteur présenté dans le modèle est évidemment décrit de façon précise et décomposables en sous-facteurs pour mieux cerner leur contenu. Il est possible de trouver davantage de détails sur le modèle général en faisant quelques recherches sur internet.
Pour ma part, j'ai saisi l'opportunité de collaborer en win-win avec Stéphanie Péters, chercheuse d'un service universitaire de l'ULg, pour réaliser cette analyse de façon indépendante. Cela nous a permis d'obtenir des résultats très intéressants pour diagnostiquer les variables, d'examiner le transfert auto-déclaré par les participants plusieurs semaines après leur formations et de développer un plan d'action pour améliorer la situation, avec une grande certitude (statistique) nos actions auraient un impact positif sur les résultats sans devoir développer d'indicateurs de ROI articifiels ou approximatifs.
Il n'est évidemment pas nécessaire d'entrer dans une perspective aussi poussée si vous n'avez pas ce genre d'opportunité de collaboration. De façon simple, le modèle de Holton peut vous servir de "boussole" pour récolter des informations dans l'entreprise, insérer quelques items sur la motivation à transférer, l'implication volontaire dans la formation, etc., dans votre questionnaire de "satisfaction", établir un canevas pour des entretiens post-formationn etc. choses que je faisais avant de collaborer avec Stéphanie. Inutile aussi de sortir l'artillerie lourde du LTSI dans une organisation de petite taille, ce serait "tuer une mouche avec un canon".
Sur le plan pratique, cette approche permet ainsi de construire une matrice de transfert. Cette matrice identifie en lignes les acteurs-clés (manager, apprenant, HR, formateur, etc.) et en colonnes les moments avant-pendant-après formation. Le travail consiste alors à remplir les cases avec les actions de renforcement du transfert pour chaque acteur et à chaque moment, en exploitant les résultats de l'analyse diagnostique.
En résumé : l'exercice peut sembler fastidieux et il peut l'être si on se lance dans une méthodologie qui demande des traitements trop complexes. C'est pourquoi il vaut mieux privilégier l'approche la plus pragmatique et efficiente possible, c'est-à-dire celle qui colle à votre réalité, qui vous permet d'atteindre votre objectif en dépensant le moins de ressources possibles.
Gardez juste une chose à l'esprit : vous devrez réaliser cette analyse une seule fois pour pouvoir commencer à développer un plan d'action cohérent. Par contre, si vous conservez la perspective "bilan", chaque formation appelera des mesures systématiques et des actions correctives permanentes. Grâce au diagnostic, vous aurez donc l'opportunité de développer une stratégie prévisionnnelle plutôt que réactive, cela vaut bien un effort.
Le temps ne fait rien à l'affaire...
Une dernière chose... jusqu'ici nous avons évoqué la problématique des effets de la formation mais il reste à évoquer l'ampleur et la dimension temporelle de ceux-ci.
Il est évident que l'on transfère rarement (sauf apprentissages techniques très spécifiques comme l'utilisation d'une machine) 100% de ce que nous avons appris dans une formation. la mémoire est ainsi, après un an elle ne retient que 10% d'une connaissance apprise si celle-ci n'a pas été réactivée ou n'est pas utilisée. Illustration parlante : pensez-vous que vous auriez réussi un examen à l'université si vous y aviez répondu 1 an après avoir appris la matière ?
Il en va de même pour les formations professionnelles : plus le temps passe et moins il en reste quelque chose. D'où l'importance de concevoir des programmes de formation qui favorisent la réactivation et l'utilisation des apprentissages de façon récurrente.
Par ailleurs, je l'ai implicitement laissé comprendre ci-dessus : si le transfert peut être (bien heureusement) très important juste après la fin d'une formation technique/métier, ce n'est absolument pas le cas des formations sur des thèmes "soft skills" (i.e., communication, management, etc.) dont les concepts et applications sont parfois plus difficiles à mettre en application, parce qu'ils appellent des changements importants en terme de fonctionnement individuel.
Le tableau ci-dessous reprend des taux de transfert observés par différents auteurs, à différents moment et avec différentes méthodes.
Une image pour terminer : retenons que le transfert est à la formation ce que le rendement est au moteur d'une voiture : pour 1 litre de carburant injecté dans le moteur, seul un tiers va réellement entraîner le moteur, produire l'énergie cinétique qui met le véhicule en mouvement. Le reste de l'énergie se perd dans les forces de résistances et le moteur sera encore moins rentable si on le laisse refroidir... (les spécialistes en mécanique me pardonneront si l'image n'est pas suffisamment précise).
.){kind=link}