Les enjeux de l'évaluation de la performance : Dépasser les mythes

Mythe 1 : La performance est synonyme de la qualité des soins. L'évaluation de la performance consiste à mesurer l'atteinte des buts des organisations et du système de santé

Ce mythe renvoie à deux éléments majeurs relatifs à la conception des cadres d'évaluation de la performance. Premièrement, la notion de performance n'est pas formellement définie, ce qui contribue à rendre le concept de performance relativement flou. Deuxièmement, les dimensions constitutives de la performance se rapportent aux différentes composantes de la qualité des soins et aux objectifs du système de santé.

L'Institut de médecine définit la performance comme « le degré par lequel les services de santé améliorent les résultats de santé autant au niveau individuel que populationnel, cela au regard de la connaissance scientifique en vigueur » (cité par Lied et Kazandjian 1999 : 394). David Eddy (1998) abonde dans le même sens en abordant la performance en fonction des résultats que l'on peut attendre d'une prise en charge. Pourtant, la notion de performance devrait transcender celle de qualité pour inclure d'autres dimensions reflétant la complexité des systèmes de santé, les déterminants de la performance ainsi que les multiples perspectives des parties prenantes (Davies 1998; Lied et Kazandjian1999; Adair et coll. 2006b).

Pour bien comprendre la performance, il est nécessaire de l'appréhender comme un phénomène contingent et paradoxal (Champagne et coll. 2005)

Les cadres d'évaluation de la performance nationaux et internationaux correspondent principalement aux modèles rationnel et comparatif. Pourtant, pour bien comprendre la performance, il est nécessaire de l'appréhender comme un phénomène contingent et paradoxal (Champagne et coll. 2005). En effet, la performance est contingente, car tous les modèles reflètent des points de vue légitimes qui dépendent des différentes perspectives et points de vue des acteurs et des différents contextes. Elle est également paradoxale, car pour être performante, une organisation doit accomplir simultanément toutes les fonctions décrites par les différents modèles, même si ces fonctions sont contradictoires. Dès lors, il est nécessaire de postuler que le concept de performance doit être abordé de façon globale et multidimensionnelle afin d'en respecter la complexité.

Mythe 2 : Une conception des cadres d'évaluation comme outil de classification des indicateurs

Les cadres d'évaluation nationaux et internationaux véhiculent une approche descriptive de la performance fondée sur la classification des indicateurs par dimension. Ceci apporte une information sur le niveau de performance de chaque indicateur, et parfois d'une dimension, si les indicateurs sont agrégés. Cependant une telle approche ne permet pas d'analyser et de comprendre la performance d'une organisation à travers la création d'un savoir découlant d'un jugement évaluatif basé sur la configuration des différents indicateurs et dimensions. Pour ce faire, il faut prendre en considération les relations qui existent entre les dimensions et les indicateurs de la performance.

Cet aspect central n'est malheureusement que très peu développé dans les cadres d'évaluation actuellement implantés. Pourtant, David Norton et Robert Kaplan (1996) ainsi que Philippe Lorino (1997) soutiennent que la compréhension des chaînes causales entre les dimensions constitutives de la performance est un élément central à considérer pour analyser la performance puis prendre des décisions menant à son amélioration. Cette vision est le corollaire du caractère multidimensionnel et paradoxal de la performance. Dès lors, la performance ne peut plus être appréhendée uniquement par dimension, mais en fonction des tensions et des équilibres entre les dimensions qui la composent.

La représentation des chaînes causales pourrait être réalisée par la création de modèles logiques permettant de décrire les configurations de dimensions en spécifiant les déterminants de la performance de chaque dimension et leur conséquence sur d'autres.

Ces deux mythes touchant au caractère multidimensionnel de la performance ainsi qu'à la nécessité de construire des outils permettant de représenter les configurations de relations entre les dimensions nous amènent à affirmer que de nombreux développements théoriques sont encore à réaliser. Ceux-ci sont impératifs pour accroître l'utilisation des résultats des évaluations. En effet, le succès d'implantation et d'utilisation des cadres d'évaluation de la performance est dépendant de la conception de la performance et du cadre pour la mesurer.

Mythe 3 : De la nécessaire multiplication des indicateurs de performance pour produire des informations utiles et pertinentes

L'implantation de dispositifs formels d'évaluation de la performance s'accompagne très généralement d'une multiplication d'indicateurs de performance, et ce indépendamment des considérations nécessaires de validité, de fiabilité et d'utilité de la mesure. Pourtant, les mesures pour évaluer la performance des systèmes de santé doivent répondre à des exigences méthodologiques similaires à celles des démarches évaluatives scientifiques afin de s'assurer de leurs qualités psychométriques (Contandriopoulos et coll. 2012). Cependant, en plus de ces critères classiques, d'autres exigences s'imposent. En effet, ces mesures doivent être acceptées par les futurs utilisateurs, facilement implantables, comparables entre hôpitaux ou systèmes de santé (Smith et coll. 2009; Wallace, Lemaire et Ghali 2009), utiles à la prise de décision et surtout représenter des marqueurs de la performance.

Le respect de ces critères soulève trois exigences contradictoires. Tout d'abord une exigence de parcimonie et d'exhaustivité qui doit être respectée lors de la sélection des indicateurs. En effet, aucun indicateur n'est suffisant pour apprécier une dimension de la performance ou la qualité d'un processus. Pourtant, on ne peut multiplier les indicateurs sans risquer de perdre l'utilité des mesures et créer plus de confusion. La mesure doit être choisie en fonction de ce qui est valorisé et de ce que l'on veut valoriser.

Une exigence de disponibilité et d'ajout parcimonieux de nouvelles données afin de fournir une série de mesures suffisantes pour apprécier adéquatement le niveau de performance de chaque dimension. En effet, on ne dispose que très rarement des meilleurs indicateurs possibles pour évaluer la performance. De ce fait, lors de l'implantation d'un système d'évaluation de la performance, la sélection des indicateurs se fait en plusieurs étapes allant de l'utilisation des données disponibles, à l'implantation de nouvelles mesures, jusqu'à l'institutionnalisation de celles-ci, cela en minimisant le poids associé au développement de nouvelles mesures (Friedberg et coll. 2011).

Enfin, une exigence de validité et fiabilité des données tout en préservant l'utilité des mesures. Pour réconcilier ces exigences, Champagne et Contandriopoulos (2005), François Champagne et coll. (2005) et Carole Adair et coll. (2006b) ont proposé une série de critères guidant la sélection des mesures afin d'assurer la qualité psychométrique, l'utilité et la facilité de collecte (Tableau 2).

Mythe 4 : L'évaluation de la performance est possible avec les méthodes classiques de l'évaluation

Les systèmes et les organisations de santé sont des systèmes complexes qui doivent être évalués en tenant compte de cette complexité. Les systèmes complexes sont des systèmes ouverts qui co-évoluent avec leur environnement (Barnes, Matka et Sullivan 2003; McDaniel 2007). Les éléments du système sont en interrelations et interdépendants et ces relations sont caractérisées par des boucles de rétroaction positives ou négatives (McDaniel 2007). Ces systèmes ont la capacité de s'auto-organiser en générant l'émergence de nouvelles structures et de nouvelles pratiques (McDaniel 2007). De ce fait, celles-ci ne sont pas uniquement imposées par la hiérarchie, mais naissent des interactions entre les acteurs. Finalement, l'analyse de ces systèmes ne peut se faire par l'étude de ses parties, mais nécessite une approche globale (Meyer, Tsui et Hinings 1993) car un système complexe n'est ni la somme des éléments le constituant, ni la somme des comportements individuels, mais le résultat collectif d'interactions non linéaires (McDaniel 2007).

Pourtant, les cadres classiques d'évaluation de la performance tendent à conceptualiser la performance de façon linéaire, sans modéliser les interactions ni prendre en compte l'influence de l'environnement, par une classification des indicateurs selon qu'ils correspondent aux entrants, aux produits ou aux résultats.

La prise en compte de la complexité pose à l'évaluateur des questions difficiles dans l'état actuel des connaissances sur l'évaluation. Pour Michael Patton (2011), il s'agit du problème central auquel il faut trouver des réponses pour que l'évaluation soit à la hauteur des attentes des décideurs : « Evaluation has to explore merit and worth, processes and outcome, formative and summative evaluation; we have a good sense of the lay of the land. The great unexplored frontier is evaluation under conditions of complexity » (Patton 2011 : 1). Pour ce faire, les méthodes d'évaluation doivent être construites pour se rapprocher des caractéristiques des systèmes et des organisations complexes.

Ainsi, pour évaluer la performance il est nécessaire, non pas d'utiliser de façon séquentielle et interdépendante les méthodes et les approches habituelles de l'évaluation (Brousselle et coll. 2011), mais de mobiliser des approches configuratives et interprétatives (Contandriopoulos et coll. 2012) générant des formes de jugement adaptées aux réalités des systèmes de santé et aux besoins des décisionnaires. Ces approches configurationnelles permettent de modéliser une constellation de dimensions représentant les caractéristiques théoriques d'un phénomène (p. ex : la performance et ses composantes, telles que l'efficacité des soins, la sécurité, la disponibilité des ressources ou l'innovation) en interaction (Meyer, Tsui et Hining 1993). Ces configurations devraient être accompagnées de grille de lecture fournissant un support à l'interprétation et l'appréciation des résultats du phénomène étudié. Une telle grille pourrait comprendre des synthèses narratives résumant les évidences scientifiques sur la nature des relations entre les composantes des configurations, ainsi que des jugements sur le niveau de performance de chaque dimension en fonction d'une norme. Ces jugements de type normatifs s'appliqueraient à chaque dimension puis seraient regroupés au sein de configurations. Ces méthodes permettraient de disposer d'outils permettant à la fois de représenter la complexité d'un phénomène tout en fournissant des grilles pour l'interpréter et porter un jugement. Cependant, l'interprétation et l'appréciation des configurations devraient être complétées par un processus permettant d'inclure les perspectives des acteurs concernés afin de prendre en compte ce qu'ils pensent, ce qui devrait être entrepris selon leur point de vue et comment certaines visions devraient prévaloir sur d'autres (Barnes Matka et Sullivan 2003).

Mythe 5 : La disponibilité des données garantit leur utilisation

Les cadres d'évaluation fournissent des données classées en fonction des dimensions de la performance sélectionnées. Ces données sont parfois associées à des normes permettant d'en apprécier le niveau de performance. Cependant, l'existence de ces données et leur classement ne garantissent ni leur utilisation, ni même un renforcement des capacités des décideurs. En effet, il y a souvent trop de données, inadaptées et non soutenues par un raisonnement permettant de produire une connaissance utile pour l'action (Pfeffer et Sutton 2006; Rousseau 2006), mais surtout les résultats de l'évaluation ne sont pas analysés à travers une grille de jugement permettant de créer un sens. Dès lors, l'enjeu de l'utilisation est d'améliorer la transformation, la traduction des données pour permettre aux décideurs d'élaborer un jugement sur la performance qui découle d'un raisonnement scientifique.

La construction de modèles logiques, décrivant les configurations de causes à effets entre les dimensions de la performance, représente l'élément central permettant de construire des jugements plus adaptés aux besoins des décideurs. En effet, ces modèles logiques, basés sur des évidences scientifiques fourniraient plus que des résultats évaluatifs, mais un savoir. Autrement dit, « un ensemble de thèses et de questions à partir desquelles une activité peut être conduite ou une information acquérir un sens en générant, le cas échéant, de nouvelles thèses ou de nouvelles questions » (Hatchuel et Weil 1992 : 16).

Une telle approche permettrait de dépasser l'utilisation classique des évaluations de type normatif ou instrumental ayant pour objectif d'informer et d'orienter les prises de décisions organisationnelles et politiques, contraindre et modifier les actions des fournisseurs de soins afin qu'ils se conforment aux normes et aux cibles (Weiss 1998; Henry et Mark 2003). En effet, ce type d'utilisation est insuffisant pour assurer une amélioration continue de la performance. Il est nécessaire d'y adjoindre d'autres types d'utilisation et de nouvelles formes de jugement.

Pour répondre à ces enjeux, trois formes de jugement devraient être articulées : un jugement normatif, un jugement configurationnel et un jugement délibératif

Pour répondre à ces enjeux, trois formes de jugement devraient être articulées : un jugement normatif, un jugement configurationnel et un jugement délibératif. Le jugement normatif permet d'apprécier le niveau de performance en fonction d'une norme. C'est une première étape nécessaire à la construction des jugements configurationnels et délibératifs. En effet, le jugement configurationnel basé sur les modèles logiques permettrait de mettre en relation et d'analyser plusieurs indicateurs à travers une configuration de dimension. Ce jugement pourrait générer des leviers d'action à partir des relations de causes à effets entre les dimensions. Cette utilisation de type conceptuel accroîtrait la connaissance des utilisateurs et la compréhension des phénomènes (Champagne et Contandriopoulos 2011a). Sur cette base, le jugement configurationnel mènerait à une modification des schémas cognitifs des utilisateurs, l'acquisition de nouvelles compétences et d'habiletés et finalement un changement de comportement (Henry et Mark 2003; Weiss 1998).

Cependant, les jugements normatifs et configurationnels ne sont pas suffisants pour garantir l'utilisation des résultats de l'évaluation et l'appropriation des connaissances générées par les modèles logiques. Il est nécessaire d'y adjoindre un jugement délibératif, soit un processus permettant à un groupe de recevoir et d'échanger des informations, d'examiner de façon critique un problème et de créer une compréhension rationnelle soutenant la prise de décision (Abelson et coll. 2003). En effet, les décisions managériales sont rarement prises individuellement. Elles impliquent toujours d'autres acteurs et donc une négociation (Walshe et Rundall 2001). Cet aspect renvoie au processus politique inhérent à toutes prises de décision au sein d'une organisation. Ainsi, le jugement délibératif devrait générer une compréhension intersubjective permettant « d'accorder mutuellement les plans d'action sur le fondement de définitions communes des situations. » (Habermas 1987 : 295). Dès lors, ce n'est plus ni les résultats de l'évaluation ni la connaissance produite qui ont de la valeur, mais l'interprétation collective faite par les utilisateurs qui mène à l'action (Denis, Lehoux et Champagne 2004).

Mythe 6 : Les cadres d'évaluation peuvent simultanément permettre de poursuivre deux objectifs : l'imputabilité et l'amélioration continue de la performance

Les cadres, aussi bien nationaux qu'internationaux, affirment poursuivre simultanément ces deux objectifs dans leur utilisation. De même, de nombreux chercheurs pensent que ces deux objectifs peuvent être conciliés dans un même cadre d'évaluation et obtenus par les mêmes données (Smith et coll. 2009; Murray et Frenk 2000). La plupart des cadres d'évaluation de la performance ont pour objectif principal l'accroissement de l'imputabilité qui devrait entraîner une amélioration de la performance. Les cadres et les résultats de l'évaluation sont ainsi utilisés comme outil de gouvernance pour encadrer et surveiller les dispensateurs de soins (Dubnick 2005). Smith et coll. (2009 : 5) affirment d'ailleurs que « peu importe le design du système de santé, le rôle fondamental de la mesure de la performance est d'aider les différents acteurs à rendre des comptes en permettant aux parties prenantes de prendre des décisions éclairées ». L'accroissement de l'imputabilité devrait mener de façon indirecte à l'amélioration de la performance par des incitatifs imposés aux dispensateurs de soins afin de se conformer aux normes et aux standards. Cependant, les liens établis entre les mécanismes d'imputabilité et l'amélioration de la performance n'ont pas été suffisamment démontrés (Dubnick 2005). Plusieurs auteurs affirment que l'utilisation excessive de mesures de la performance orientées vers l'imputabilité et concentrées uniquement vers les résultats pouvait avoir des impacts négatifs sur l'organisation et des effets indésirables sur le comportement des gestionnaires (Smith 1995; Lied et Kazandjian 1999).

Ainsi, il semble improbable d'utiliser les mêmes résultats de l'évaluation et les mêmes grilles de jugement pour poursuivre simultanément ces deux objectifs. Des différences majeures en termes d'objectifs, de logiques, de démarches, de mesures, d'auditoires et de types d'utilisation opposent ces deux finalités d'utilisation (Tableau 3).

Comme le montre ce tableau, ces deux finalités diffèrent principalement au niveau de la logique et des auditoires auxquels elles s'adressent. En effet, l'imputabilité s'appuie sur la théorie de l'agence dont le but est de surveiller et encadrer le comportement de l'agent (Dubnick 2005). Ce type d'utilisation des résultats de l'évaluation est principalement destiné aux institutions régulatrices au niveau régional et ministériel. Ainsi, les mesures de performance servent à juger de la conformité des pratiques et de l'atteinte des résultats par les dispensateurs de soins. En outre, l'imputabilité est fondée sur des standards techniques extérieurs et sur une logique de reddition de compte envers le supérieur, le ministère et la population (Halachmi 2002). Cette logique, fondée sur la rationalité instrumentale visant une utilisation sommative, pourrait être résumée par la question : est-ce que les choses ont été bien faites au regard des standards et des cibles à atteindre?

A contrario, l'utilisation des résultats de l'évaluation dans une perspective d'amélioration continue de la performance tend à renforcer les capacités d'analyse des acteurs, leur niveau de compréhension des phénomènes permettant de changer de l'intérieur (Halachmi 2002). Dans ce sens, ce n'est pas un principal qui contraint ou encadre un agent, mais des gestionnaires et des professionnels qui s'interrogent sur leurs pratiques et le fonctionnement de l'organisation pour l'améliorer. L'utilisation est donc formative et s'intéresse à la compréhension des phénomènes symbolisée par les questions : est-ce que c'était la bonne chose à faire? et comment l'avons-nous faite?

Dès lors, la performance organisationnelle est abordée comme un construit multidimensionnel qui devrait permettre aux différentes parties prenantes de débattre et d'élaborer un jugement sur les qualités essentielles et spécifiques de l'organisation en fonction de leurs croyances, connaissances, responsabilités, intérêts et projets

Ainsi, nous pensons qu'il est difficile et inapproprié d'utiliser les mêmes résultats d'évaluation de la performance et les mêmes formes de jugement pour poursuivre les objectifs d'accroissement de l'imputabilité et d'amélioration de la performance. En effet, nous avançons que le jugement normatif correspondrait davantage à une recherche d'imputabilité, alors que l'utilisation des résultats pour porter des jugements configurationnels et délibératifs serait plus appropriée pour améliorer la performance. Par contre, un même cadre d'évaluation pourrait être décliné en différents systèmes d'évaluation visant spécifiquement l'accroissement de l'imputabilité ou l'amélioration continue de la performance. Un même cadre d'évaluation pourrait donc être composé de différents systèmes d'appréciation de la performance qui seraient utilisés par des acteurs différents et ne contiendraient ni exactement les mêmes indicateurs, ni les mêmes grilles d'interprétation des résultats.