Définition
L’évaluation est une démarche dont le but est d’estimer la valeur d’une action sur le plan qualitatif et quantitatif au regard des objectifs qui lui ont été assignés. A la différence du contrôle qui est une notion de surveillance, l’évaluation repose sur la mise en place d’un dispositif complexe associant tous les acteurs concernés par l’action ou la structure à évaluer, en vue d’une amélioration.
Différentes méthodes sont généralement utilisées en fonction de l’objet à évaluer et du type de résultats attendus.
Quelle que soit la méthode mise en œuvre, l’évaluation permettra de mesurer les effets directs et indirects d’une action (pertinence, cohérence, efficience, efficacité) et in fine d’en apprécier le bien-fondé (son « utilité sociale »). Le dispositif établi reposera sur la création d’outils de mesure et sur des indicateurs. Ceux-là seront utilisés en regard d’objectifs fixés au préalable.
Notre approche de l’évaluation des politiques culturelles
Répondant rarement à des besoins sociaux directement exprimés par les citoyens, les politiques culturelles – au-delà des rares compétences obligatoires des collectivités – résultent avant tout d’une démarche volontariste des élus.
Parce que les valeurs auxquelles elles font référence (curiosité intellectuelle, enrichissement personnel, capacités créatives, émancipation des individus…) sont difficiles à appréhender, en dehors d’indices permettant de supposer d’une « démocratisation culturelle », nombre d’observateurs estiment qu’il n’est guère possible d’évaluer l’impact de ces politiques.
Ajouté au fait que l’on manque d’outils – et souvent de temps – la conséquence en est que les politiques publiques de la culture sont rarement évaluées en dehors de la mise en évidence des habituelles données chiffrées. La conséquence en est que l’on laisse ainsi le champ aux suppositions sans pouvoir vérifier le rapport d’efficacité entre investissement et impact pour les citoyens.
Une autre raison pourrait tenir au fait que les responsables culturels sont habituellement peu au fait des enjeux de l’évaluation publique et parfois réticents à l’égard du principe consistant à « rendre compte » de leur action, au-delà de considérations de portée assez générale ; mais aussi faute d’orientations précises des tutelles concernées qui estiment nécessaire de laisser une grande marge de manœuvre aux responsables culturels pour respecter leur pratique professionnelle.
Notre expérience nous a montré – au contraire – que cette évaluation est en grande partie possible, dès lors que :
- On saurait ce que l’on cherche précisément à savoir (l’objet de l’évaluation) ; en distinguant impact de la culture sur les personnes et effet de la politique sur la capacité des acteurs de terrain,
- On mettrait en place une méthode convenant à cette recherche précise.
De l’objet d’évaluation va donc dépendre le type d’indicateurs auxquels on va se référer. Or, si l’on peut en théorie trouver des indicateurs correspondant à chacun de ces deux objets (action culturelle et intervention de la collectivité), il faut se dire qu’en pratique les données correspondantes sont, dans le premier cas très difficiles à obtenir (seul le sondage auprès des individus est valide), alors que, dans le deuxième cas, il est possible de les recueillir assez aisément.
Quoi qu’il en soit, l’évaluation des politiques culturelles reste plus complexe que celles des politiques du transport ou encore de l’aide sociale pour lesquelles les indicateurs sont tangibles et identifiables, voire déjà existants.
Une autre difficulté est que l’on ne peut évaluer une action publique qu’au regard d’un objectif préalablement et évaluable. Il est en effet des objectifs auxquels il est impossible d’associer un indicateur (il faut dire qu’en matière de culture, les objectifs sont souvent trop généraux ou trop vagues pour parvenir à choisir l’indicateur pertinent). Et nous pourrions d’ailleurs en profiter pour dire qu’entrer dans une logique d’évaluation, c’est aussi entrer dans une réflexion de fond portant sur les visées précises de ce que l’on nomme « culture », réflexion pouvant parfois réinterroger à la fois les pratiques professionnelles et l’expression politique de l’action publique.
Résumons-nous ainsi :
- Lorsqu’on en a la volonté, il est techniquement possible de mettre en place, au sein des services, un protocole d’évaluation. Mais cela engendrera une dynamique de changement qu’il convient de maîtriser
- Il est indispensable de préciser l’objet de l’évaluation. Par exemple, une collectivité pourra vouloir en même temps évaluer l’impact de son action auprès des citoyens et évaluer l’impact des aides qu’il octroie à des groupes d’acteurs, deux objets s’articulant entre eux, mais restant de nature différente.
- Pour quelle soit valide, l’évaluation doit associer, à chaque objectif, un indicateur.
Ce trois règles, posent plusieurs questions méthodologiques et techniques que nous vous proposons d’aborder en formation.