Image et perception de l’évaluation : Sommes-nous trop technocrates ?

Pour aborder le thème de l’image et de la perception de l’évaluation, la SEVAL a invité une oratrice principale, organisé des groupes de discussions participatifs et cinq workshops lors de son congrès annuel du 30 août 2024. De plus, des événements parallèles ont été organisés avec SwissJEE pour impliquer les jeunes évaluateur·rice·s émergent·e·s, et des vidéos ont été tournées et mises à disposition du public à l’issue du congrès.

Lors de l’ouverture du congrès, les raisons qui ont motivé le choix de ce thème par le comité d’organisation ont été exposées. L’évaluation est un instrument qui crée de la transparence grâce à la publication des résultats. Ces derniers peuvent être utilisés pour apprécier l’action du gouvernement, d’une organisation (para)publique ou d’une ONG). Ils servent également comme outil de dialogue politique. L’évaluation permet ainsi de renforcer le système démocratique.

Qu’est-ce qui fait que cet outil démocratique est si peu connu ou valorisé ? En grande partie, cela s’explique par le fait que notre « industrie » dépend des commandes des administrations publiques et parapubliques, qui l’utilisent à des fins technocratiques (contrôle, respect des obligations, etc.). Ces administrations cherchent à éviter toute pression démocratique supplémentaire, car gérer les initiatives imprévues des décideurs politiques est déjà éprouvant (voir le congrès précédent sur l’utilisation des résultats d’évaluations). Mais aussi parce que nous réalisons des évaluations technocratiques qui ne peuvent pas être utilisées dans l’espace démocratique.

Certains éléments contextuels échappent à notre influence en tant que membres de la SEVAL. Il existe toutefois des moyens d’agir pour changer les représentations de l’évaluation. Ils reposent en grande partie sur la façon dont nous utilisons la communication. C’est cette réflexion collective que le comité d’organisation a cherché à faciliter en construisant le programme de ce congrès qui a accordé une place importante à la participation de tous et toutes.

Afin d’introduire le thème de manière ludique, de courtes vidéos ont été projetées en plénum. Elles prenaient la forme d’un micro-trottoir fictif présentant des clichés négatifs sur l’évaluation et les personnes qui réalisent des évaluations, clichés qui avaient été récoltés auprès des participant·e·s de l’événement organisé autour de la protection des données qui a eu lieu le 28 mai 2024 à Fribourg.

Puis, l’oratrice principale, Madame Laetitia Dansou, est intervenue sur le thème : « Communiquer autour de l’évaluation : où en sommes-nous ? que voulons-nous ? ». Pour répondre à ces questions, elle a esquissé une réflexion allant du diagnostic de la situation à des suggestions d’évolutions pour la suite. Les groupes de discussion se sont tenus directement après l’intervention de Madame Dansou, afin de permettre d’approfondir les réflexions esquissées au préalable. S’en sont suivis cinq workshops portants sur la visualisation en évaluation, la diffusion efficace des résultats d’une évaluation, le lien entre évaluation et médias, le lien entre évaluation et politique, et finalement, évaluation comme outil de pilotage des ONG.

Toutes les présentations sont disponibles sur le site internet de la SEVAL : Congrès SEVAL 2024 – SEVAL et le présent article résume les contributions principales du congrès annuel. Le congrès ayant été coorganisé avec le GREVAL (Groupe Romand d’Evaluation), tous les résumés sont en français.

Le jeudi après-midi précédant le congrès, des ateliers méthodologiques ont eu lieu. Ces ateliers, pas nécessairement liés au thème du congrès, permettent de discuter d’aspects méthodologiques innovants. Cette année, douze ateliers méthodologiques ont été organisés, en français ou en allemand. Les présentations sont disponibles sur le site internet susmentionné. De plus, un compte-rendu des ateliers méthodologiques a été publié dans la Newsletter de la SEVAL (Newsletter n° 40, décembre 2024).

L’intervention de Madame Dansou s’est articulée autour :

1. de trois histoires évocatrices des dynamiques de communication et de leurs impacts
2. d’une définition de la communication et de ce que cela implique pour l’évaluation
3. d’exemples suisses et français de communication autour d’évaluations
4. de projections pour la suite, proposant des solutions ou des pistes de réflexions à la communauté des évaluateur·rice·s.

Avant de se présenter, Madame Dansou a souhaité partager avec le public trois histoires de communication qui l’avaient interpellée. La première histoire, « Pour un monde sans fumée », aborde la manière dont les entreprises de tabac utilisent des stratégies sophistiquées et fallacieuses, non pour un « monde sans fumée », mais pour vendre des produits alternatifs à la cigarette. Ce cas souligne l’important levier que peuvent représenter la communication et le lobbying pour faire penser ou agir différemment.

La deuxième histoire, « Péages contre radars », montre la différence, en France, entre la communication de sociétés privées qui recueillent efficacement l’argent des péages autoroutiers tout en transmettant une image de liberté ; et l’Etat, qui rencontre des difficultés pour faire respecter les limites de vitesse et collecter les amendes des contrevenants… tout en communicant une image punitive et d’inefficacité.

La troisième histoire est protéiforme : Madame Dansou a évoqué les nombreuses situations où les commanditaires d’évaluations indiquaient à la fin « Ah dommage, on ne pourra pas communiquer sur les résultats, il aurait fallu voir très en amont avec le service communication ! »

Enfin, en prenant l’exemple de sa famille, Madame Dansou a également exprimé sa frustration face à la difficulté de rendre l’évaluation accessible et attrayante pour le grand public, malgré son expérience de dix ans en communication et marketing. Pour ces trois histoires, elle a indiqué qu’elle était interpellée à la fois en tant que citoyenne, contribuable et ancienne professionnelle de la communication, se demandant pourquoi les évaluations ne pouvaient pas bénéficier du meilleur de la communication pour améliorer l’action publique.

Après quelques questions au public (partagées plus bas), Madame Dansou est revenue sur l’étymologie du mot communication, qui dépasse sa simple définition de « transmettre des informations ou des connaissances ». En effet, « communication » vient du latin communicare, dérivé de communis – signifiant aussi mettre en commun, partager. Reprenant ces éléments, la communication pourrait ainsi être un levier pour dépasser l’évaluation technicienne et en faire un bien commun, citoyen, voire militant.

Madame Dansou a également présenté schématiquement la communication, s’incarnant sur un spectre large allant de l’information à la conviction. Elle a appuyé avec insistance sur le fait que dans tout le spectre, une partie de ce qui est communiqué échappe à l’émetteur·rice – rendant d’autant plus important la maitrise ou le contrôle du message initial.

Madame Dansou a ensuite présenté plusieurs exemples réussis de communication autour de l’évaluation des politiques publiques. Elle s’est appuyée notamment sur les travaux complémentaires menés par la Société Française de l’Evaluation, qui avait organisé une table ronde sur le sujet fin 2023. Parmi les trois exemples partagés, l’un concernait les Cour des Comptes, qui communiquent de manière quasi systématique et de manière très actuelle (en vidéos) sur leurs évaluations. Pour autant, sur ces exemples de « bonnes pratiques », Madame Dansou s’est posé la question des publics destinataires de ces communications. Même très bien réalisées, très visuelles, très accessibles, celles-ci restent principalement destinées à un public averti d’évaluateur·rice·s, ou de personnes déjà intéressées à l’analyse de l’action publique.

Avant de formuler des recommandations pour la suite, le public a été invité à donner son avis et à réagir sur les éléments de diagnostic et les enjeux évoqués dans la présentation. Sur les 70 participant·e·s, les répondant·e·s se sont globalement dit aussi interpellé·e·s (choqué·e·s ou intéressé·e·s) par les « histoires de communication » du début : à 70% pour « Un monde sans fumée », 60% pour « Péages contre radars ». Plus de la moitié d’entre eux/elles avaient déjà vécu la situation de ne pas pouvoir communiquer sur une évaluation en raison de la difficulté à utiliser les services dédiés du commanditaire.

S’agissant des obstacles à la visibilité et à la diffusion des évaluations, 67% ont estimé que les rapports d’évaluation étaient trop longs, trop techniques, trop peu accessibles à des profanes ; 63% qu’ils étaient également trop peu attractifs en termes de présentation et de visualisation.

En amont du travail des participant·e·s en sous-groupes qui allait suivre, Madame Dansou a enfin souhaité partager ses conclusions et recommandations pour mieux communiquer autour des évaluations. Interpellant le public, elle a rappelé que le fait de communiquer, d’influencer, de rendre une évaluation visible ou attractive sont des métiers spécifiques – et que les évaluateur·rice·s n’ont pas tous/toutes vocation à devenir des communicant·e·s ! Pour autant, faisant le parallèle avec un plan d’évaluation, elle a exhorté à mieux « penser » la communication, notamment en établissant un plan de communication :

• En définissant en amont des objectifs et des cibles : Pour quoi veut-on communiquer ? A quoi cela doit-il servir ? Auprès de qui ?
• En discutant les supports, les livrables, les modalités, en dépassant la seule diffusion d’un rapport et en pensant aux médias, aux réseaux sociaux, voire aux influenceur·euse·s.
• En envisageant les limites et les risques de la communication autour de l’évaluation concernée.

Madame Dansou a conclu avec un appel à l’action, soulignant que chacun·e a la capacité de faire bouger les lignes, en commençant par les travaux de la journée en ateliers. Si le temps de questions-réponses a été réduit par la suite des travaux, de nombreuses interrogations du public sont restées en suspens. En voici quelques-unes, qui pourront donner matière à réflexion pour les futurs travaux de la SEVAL et du GREVAL :

• Faudrait-il systématiquement intégrer des recommandations pour la communication dans les rapports d’évaluation ?
• Lorsqu’on intègre les services communications trop tôt, ils peuvent parfois influencer négativement la forme du résultat (censure par peur de mauvaise publicité...). Comment faire pour limiter cela ?
• L’évaluateur institutionnel peut-il vraiment se mettre en scène sur les réseaux sociaux ? Et comment gérer les commentaires sur les réseaux sociaux ?
• Devrions-nous systématiquement faire des vidéos de restitution ?
• Qui est prêt à prendre en charge les frais de communication ?

Après la présentation de l’oratrice principale, les participant·e·s ont été réparti·e·s en six groupes en fonction de leur profil (mandant·e·s, mandataire·s, milieu académique ou autre) et de la langue, dans le but de favoriser la participation de chacun et chacune, tout en nous interrogeant sur d’éventuelles différences de résultats en fonction des profils.

En une heure, les six groupes étaient invités à répondre à la question suivante : « Est-il nécessaire d’entreprendre des changements face à la perception actuelle des évaluations et des professionnel·le·s de l’évaluation ? Si non pourquoi ? Si oui par quels leviers et à quel niveau ? »

Chaque groupe s’est organisé de manière distincte, avec l’aide d’un·e modérateur·rice attitré·e. Le point commun : tous les groupes devaient restituer les résultats de leur discussion par vidéo, à la fin de la discussion (ces vidéos sont disponibles sur la page Youtube de la SEVAL). Les discussions se sont globalement déroulées en trois étapes :

1. Tout d’abord, quel constat peut être tiré de la perception des évaluations et des professionnel·le·s de l’évaluation ?
2. Ensuite, comment ce constat est-il apprécié ?
3. Finalement, est-ce que des mesures sont à prendre pour modifier cette perception ?

Nous présentons les constats, appréciations et pistes d’action issus de six groupes de travail, répartis entre mandants, mandataires et groupes académiques, et selon la langue. Globalement, le groupe des mandants germanophones constate une amélioration dans la clarté des rapports d’évaluation, mais dit rencontrer des difficultés à aligner le timing des évaluations avec les réalités politiques. Il préconise de diversifier les formats de communication et d’impliquer les décideurs politiques plus tôt dans le processus. En parallèle, le groupe des mandants francophones souligne que l’évaluation reste peu visible pour le grand public, et insiste sur l’importance d’adapter les messages à différents publics, en prenant le risque nécessaire de simplifier pour renforcer la portée démocratique des évaluations.

Du côté des mandataires, le groupe germanophone a mis en lumière une perception contrastée de l’évaluation dans leur pratique, précisant qu’elle est parfois vue comme une opportunité d’amélioration, et d’autre fois comme un contrôle inutile et couteux. Les participant·e·s appellent à l’optimisation des structures contractuelles (prévoir le temps et les ressources nécessaires à la communication, dès l’appel d’offres) et à une clarification du rôle entre le mandant et les évaluateur·rice·s en matière de communication. Le groupe des mandataires francophones relève que l’évaluation est encore mal comprise, surtout par le grand public, et préconise d’innover dans les formats de communication pour en accroître la visibilité et l’appropriation.

Enfin, le groupe germanophone rassemblant les personnes issues du monde académique et des ONG a explicité le champ de tensions entre la rigueur scientifique des évaluations et leur intelligibilité. Les participant·e·s plaident pour une planification et un budget adéquat pour la communication, tout en insistant sur la nécessité de diversifier les compétences des équipes d’évaluation. Le groupe francophone du monde académique, quant à lui, reconnaît la difficulté de véhiculer une image positive de l’évaluation et appelle à clarifier les responsabilités en matière de communication dès le début du mandat, tout en encourageant des approches participatives adaptées aux différents publics.

Pour conclure, il apparaît que les préoccupations quant à la communication traversent tout le champ de l’évaluation, et que les attentes ne divergent que peu en fonction du profil des personnes ayant participé à la discussion. Les mandataires sont plus sensibles au besoin de prévoir, dès l’appel d’offres, le temps et le budget nécessaire à une communication adaptée des résultats d’évaluation. Les mandants, de leur côté, mettent davantage l’accent sur les formats innovants et adaptés au public. Quant aux participant·e·s issu·e·s du milieu académique et des ONG, ils soulignent particulièrement l’équilibre à trouver entre scientificité et intelligibilité ainsi que la nécessité d’explorer des formats participatifs. Le tableau ci-dessous résume les grandes lignes des recommandations proposées par les participant·e·s au congrès en distinguant celles à prévoir en amont des évaluations de celles à mettre en œuvre en fin de processus.

Pour la SEVAL, en tant qu’association professionnelle, il conviendrait de vérifier si les standards et autres recommandations prennent bien en compte ces éléments et de mettre à jour les différents documents qui accompagnent et guident les professionnel·le·s de l’évaluation, qu’ils et elles soient mandant·e·s, mandataires ou chercheur·euse·s.

Cinq workshops dédiés à la thématique ont été organisés en parallèle lors du vendredi après-midi du congrès. La diversité des sujets et des langues a permis aux participant·e·s de choisir parmi un bel éventail de workshops. Les workshops d’une durée de 90 minutes laissaient généralement une grande place à la discussion et aux échanges. A la fin des workshops, les intervenant·e·s principaux·ales de ces derniers ont été invité·e·s à partager les résultats principaux lors d’une table ronde. Cela a permis à l’ensemble des participant·e·s de connaître les bonnes pratiques discutées.

Workshop 1 : La visualisation en évaluation : apports, limites et perspectives

Virginie Kremer Morgante, évaluatrice et consultante expérimentée dans l’aide au développement, a exploré l’intégration du visuel dans l’évaluation. Sa présentation a été structurée en quatre parties :

1. Tout d’abord, l’importance de mieux communiquer les résultats et d’humaniser le processus d’évaluation. Pourquoi ? et est-ce que le visuel peut y aider ?
2. Ensuite, les méthodes pour intégrer le visuel (principalement le sketch noting), telles que les moments opportuns et les formes à utiliser, ont été discutées avec des exemples personnels pour illustrer le processus.
3. Le partage d’expériences a permis de mettre en lumière les succès et les défis rencontrés, avec des solutions pratiques et une importance accordée à la générosité et à l’écoute.
4. Enfin, les défis à relever, comme trouver le bon équilibre dans l’utilisation du visuel, le bon format pour servir l’objectif et toucher des publics diversifiés, ont été abordés, avec des conseils pour une intégration efficace.

Voici en résumé les principales conclusions de l’atelier (pour voir les résultats complets des échanges avec les participant·e·s, se référer au Power Point disponible sur le site de la SEVAL).

Tout d’abord, quand on parle d’intégrer le visuel dans l’évaluation, il est important de comprendre que c’est tout le processus qui est concerné, pas seulement la présentation des résultats : il y a des moments clés, comme les ateliers de réflexion participative, les réunions de comité de pilotage, etc. Ce sont tout autant d’étapes qui permettent de créer des visuels pour améliorer l’appropriation de l’évaluation.

Amener la visualisation dans l’évaluation peut contribuer à en valoriser les résultats mais aussi à les diffuser, les vulgariser et améliorer la redevabilité (par exemple envers les bénéficiaires). Cela permet aussi d’humaniser l’évaluation voire de créer des ponts entre mandant et évalué. Il y a cependant de nombreux défis : la variété des publics (et donc des sensibilités), des contraintes techniques, des résistances, le niveau de synthèse pour l’évaluateur·rice qui doit solidifier ses constats et qui tend donc vers l’exhaustivité plutôt que la simplification. Cependant, tout évaluateur·rice a des capacités de synthèse lui permettant notamment l’élaboration de résumés exécutifs.

Plusieurs pistes et perspectives ont été abordées, par exemple : connaître son public, définir l’objectif d’un visuel et quelle sera sa valeur ajoutée, procéder à des tests progressifs. En résumé : il s’agit d’appliquer la politique des petits pas.

A noter que beaucoup de professionnel·le·s de l’évaluation s’y sont déjà mis, y compris pour des articles scientifiques. Mais qu’entend-on vraiment par visualisation ? Il n’y a pas de définition univoque. L’utilisation de tableaux et de graphiques est-elle déjà considérée comme de la visualisation ? La visualisation, telle que présentée par Madame Kremer Morgante va plus loin que la simple restitution visuelle de résultats. Elle accompagne tout le processus d’évaluation, de la réponse à un appel d’offres à la restitution des résultats, en passant par la conduite de l’évaluation et toutes les étapes qui la composent. Elle met en image les processus autant que les résultats.

Enfin, la visualisation est rarement budgétisée : alors, comment réconcilier l’envie et les moyens ? Une possibilité est de proposer des options dans les réponses aux appels d’offres, de thématiser ce point avec le mandant et aussi de diversifier les compétences des équipes.

Les discussions ont été nourries durant l’atelier. Voici, en exemple, deux interrogations du public, avec les réponses de Madame Kremer Morgante :

1. Le politique peut-il également utiliser la visualisation ? Lors de la crise de la Covid-19, en France, les conférences de presse du ministre de la santé et du président intégraient des visuels. Qu’on soit un·e député·e ou un·e bénévole d’une ONG(D), le temps manque. Il y a un donc un besoin de mémoriser les messages clés, par exemple en associant un mot et un pictogramme. L’intérêt pour le politique est également d’humaniser et de rendre la politique plus accessible. Cela permet aussi aux citoyennes et citoyens de mieux comprendre l’action publique. Madame Kremer Morgante ne voit pas de grande différence à ce type de mandant. Il faut bien le connaître, le faire participer proposer, voire co-construire dans une optique d’appropriation, et y aller en douceur, sans forcer.
2. Y a-t-il des codes culturels à connaître ? Une même visualisation peut-elle être utilisée dans tous les contextes culturels ? Madame Kremer Morgante est d’avis qu’un pictogramme est assez universel et permet de passer un message de manière élargie. En Suisse où il y a le multilinguisme, on peut certainement simplement traduire un visuel, une planche graphique. Toutefois, si on change de contexte culturel, il faudra l’adapter. Prenons l’exemple des affiches publicitaires en Afrique, qui n’utilisent pas les mêmes codes ni les mêmes images et ne fonctionneraient pas dans notre contexte européen.
3. Pour finir, quelques éléments supplémentaires à prendre en compte :
   • Attention à l’utilisation des banques de données de pictogrammes en accès libre : elles sont peu personnelles et les mêmes pictogrammes se retrouvent partout.
   • Se référer au Standard SEVAL C4 « Communication adéquate des résultats » pour justifier l’emploi de techniques de visualisation innovantes.
   • Possibilité de faire appel à des stagiaires en communication pour la partie visuelle ou de collaborer avec d’autres bureaux plus spécialisés, si l’effort pour développer ces compétences ne se justifie pas par l’ampleur des mandats auxquels l’appliquer.

Rédaction et modération : Claudine Morier (laoulia).

Workshop 2 : Comment diffuser efficacement les résultats d’une évaluation ? Expériences à partir d’un exemple concret.

A la connaissance de l’auteur et des référents, le Secrétariat d’Etat à l’économie (SECO) est jusqu’à présent le seul service fédéral qui, pour certains mandats d’évaluation, commande simultanément, outre le travail d’évaluation scientifique, l’élaboration de différents produits de communication multimédia.

L’évaluation du programme pluriannuel 2016–2023 de la Nouvelle politique régionale (www.improve-nrp.ch) a été présentée et discutée comme exemple concret. Outre un rapport « classique », un rapport succinct, des vidéos, des rapports audios, un site internet et des posters ont été créés pour la communication sur cette évaluation – le tout en trois langues et dans un Corporate Design spécialement développé à cet effet.

Les référents, Ueli Ramseier (gestionnaire d’évaluation au SECO), Dieter Zürcher (KEK-CDC, responsable de l’évaluation) et Robert Diener (agence de communication Sags), ont commencé par présenter les produits de communication. Ils ont expliqué ouvertement les raisons qui ont poussé le SECO à investir des moyens considérables (environ 25% du budget du projet) dans la communication sur l’évaluation et ses résultats, et ont fait part de leurs expériences et des défis rencontrés dans le cadre de ce projet, ainsi que de l’utilisation des différents produits de communication.

Du point de vue du SECO, les objectifs visés par la communication ont été atteints et l’effort en valait la peine. Pour l’équipe d’évaluation, l’édition et le contrôle technique de la traduction des différents produits de communication ont représenté un travail important, et l’agence a dû se familiariser avec une matière nouvelle pour elle. Toutes les parties impliquées ont décrit la collaboration comme étant laborieuse, mais précieuse et gratifiante.

Après la présentation, les participant·e·s à l’atelier, très intéressé·e·s, ont posé des questions sur le projet concret et ont mené une discussion animée. Celle-ci a également soulevé des points généraux. Une question était de savoir si et comment l’approche consistant à intégrer d’emblée la communication dans les mandats d’évaluation pouvait être utilisée plus largement. D’une part, les mandants devraient le vouloir et y penser lors de la planification d’une évaluation et y consacrer des ressources ; d’autre part, les évaluateurs·rices pourraient l’encourager et créer une demande en proposant la diffusion et la valorisation des résultats de l’évaluation comme option supplémentaire.

La question du défi fondamental que représente le fait de devoir concilier l’objectif de transmettre des messages clairs et simples, adaptés au public, avec les exigences professionnelles de l’évaluation a également été évoquée. Lors de la transposition d’un rapport spécialisé basé sur la science dans une brochure grand public accessible à tous et toutes, il faut par exemple veiller à ce que les résultats de l’évaluation soient correctement reproduits. Il faut éviter que les mandants n’exercent une influence indue sur le contenu des déclarations et ne compromettent ainsi l’indépendance des évaluateurs·rices. Selon les référents, cela n’a pas posé de problème dans le projet « improve-NRP ». La collaboration a été très ouverte et constructive et l’équipe d’évaluation a toujours gardé la haute main sur les contenus.

Rédaction et modération : Christian Rüefli (Büro Vatter).

Workshop 3 : Evaluation et médias : perceptions, vecteurs et retours d’expérience

Valoriser les résultats d’audit ou d’évaluation auprès du grand public reste un défi majeur pour celles et ceux qui rédigent ces travaux. Le référent, Yves Steiner, chef de mandat d’audit à la Cour des comptes du canton de Vaud, a proposé d’explorer trois pistes pour améliorer la pratique à l’égard des médias :

• D’abord, comprendre dans quel contexte et comment la presse perçoit les audits ou les évaluations, les digère et les traduit pour le plus grand nombre.
• Ensuite, appréhender la multiplicité des médias et leur rythme : faut-il privilégier certains vecteurs plutôt que d’autres, comment calibrer son message sans pervertir les résultats de son travail, pourquoi ne pas rendre ces résultats agréables à lire tout en restant percutant ?
• Enfin, en privilégiant le retour d’expériences des participant·e·s, examiner des cas limites comme une communication mal maitrisée ou blessante, un message trop allusif, trop synthétique ou encore, trop dense.

Ci-dessous, quelques éléments complémentaires qui sont ressortis de la présentation et des discussions sont, en outre, mis en exergue :

• Les médias sont dans un contexte particulier et ont des contraintes (concurrence, temps de production limité, types de canal de diffusion, etc.) dont il faut tenir compte si l’on souhaite faire passer un message à travers eux.
• Les résultats d’évaluation constituent une très bonne matière pour les journalistes, car il s’agit d’un contenu critique. L’information est vérifiée, les entités évaluées ont été consultées et ont pu livrer leur position.
• Il est constaté que les évaluations sont plus souvent mentionnées dans la presse écrite les dernières années.
• Il faut intégrer une stratégie de communication dans son plan d’évaluation dont certains principes doivent être respectés comme une communication équitable, le respect des personnes et organisations évaluées, etc. Il faut également savoir prendre la décision de ne pas communiquer, le cas échéant.

Finalement, quelques réactions du public sont également présentées :

• La plupart des évaluateur·rice·s ne sont pas impliqué·e·s dans les relations avec les médias, seules les institutions supérieures de contrôle (ISC) font leur propre communication sans devoir en référer à des mandants.
• Les représentant·e·s des ISC ont fait part de diverses expériences et pratiques comme l’envoi de rapports sous embargo, la tenue de séances techniques avec la presse (en présence des évaluateur·rice·s et des entités évaluées) ainsi que la rédaction de communiqués de presse allant à l’essentiel.

Rédaction et modération : Eric Moachon (Haute école de travail social et de la santé, Lausanne).

Workshop 4 : Intégrer les résultats de l’évaluation dans la politique : Trois règles pour une plus grande attention politique

Intégrer les résultats des évaluations dans le cycle politique est une préoccupation constante. Susciter l’intérêt des parlementaires est un signe montrant que les résultats sont utilisés, génèrent des discussions et peuvent servir de base à des propositions législatives.

Organe d’évaluation au service des Commissions de gestion des Chambres fédérales, le Contrôle Parlementaire de l’Administration (CPA) est idéalement situé pour appréhender ces questions. Luzia Helfer, évaluatrice et cheffe de projet au CPA, nous a fait part de son expérience et a expliqué les mécanismes visant à transmettre les résultats d’évaluation au politique. Il s’agit de mieux comprendre les attentes du politique et d’identifier les facteurs permettant de capter l’attention.

Les parlementaires font face à une masse considérable d’informations. La communication par les évaluateurs et évaluatrices (que communiquer, quand communiquer, à qui communiquer) joue un rôle central. Les résultats d’évaluation peuvent apporter aux parlementaires des éléments pour déposer une intervention parlementaire ou pour étayer les discussions en commission ou simplement lors de contacts directs.

Luzia Helfer a proposé trois règles pour attirer l’attention des parlementaires. Premièrement le cadrage (framing) est un élément central pour faire passer un message. La manière de communiquer affecte le point de vue des destinataires qui perçoivent les informations avec leurs idées, leur système de valeurs et leurs émotions. La communication influence de manière déterminante la manière dont le message est reçu et la réaction qu’il suscite. Il convient d’adapter la communication en fonction du public-cible et d’identifier les messages essentiels à faire passer. Il s’agit également de comprendre qui porte le problème sur l’agenda et qui propose des solutions.

Deuxièmement, les acteurs politiques ont leur domaine de prédilection en fonction de leurs compétences et de leurs expériences. Un·e parlementaire va siéger dans des commissions législatives correspondant à ses affinités et se montrera plus actif·ve sur les sujets qui lui tiennent à cœur. Ainsi, il peut être pertinent pour un évaluateur ou une évaluatrice d’identifier les sujets de prédilection des parlementaires afin de cibler spécifiquement les destinataires des résultats d’évaluation.

Troisièmement, le timing est crucial. Tenir compte de l’agenda politique est déterminant. Les résultats d’évaluation doivent arriver au bon moment lors des travaux législatifs. Des résultats arrivant trop tard deviennent inutiles pour le politique.

Les échanges suivant la présentation ont été nombreux parmi les participants et participantes. Il est important de communiquer au politique les points essentiels de l’évaluation de manière concise et avec un langage accessible. En matière de communication, la situation est contrastée selon la position de l’évaluateur ou évaluatrice, beaucoup n’ayant pas de contacts directs avec des parlementaires. En effet, au sein d’offices fédéraux, la communication relève de la direction avec le soutien de service dédié. Quant aux bureaux privés, ils sont tenus par des règles définies avec le mandant et ne sont, le plus souvent, pas associés dans la communication des résultats auprès du politique. En conclusion, la communication reste un enjeu à intégrer par les évaluateurs et évaluatrices afin de valoriser les résultats et les rendre à la fois accessibles et attractifs auprès du politique.

Rédaction et modération : Laurent Crémieux (Contrôle fédéral des finances).

Workshop 5 : L’évaluation comme outil de pilotage des ONG ; concept et expériences à l’exemple de la fondation BOTNAR

La fondation BOTNAR est une fondation philanthropique qui s’engage pour le bien-être des jeunes qui vivent, apprennent, travaillent, se connectent et jouent dans des espaces urbains et numériques à travers le monde. La fondation investit dans des programmes et des mesures innovants ainsi que dans la recherche. Il s’agit de rassembler des acteurs de différents domaines afin de créer un dialogue et des partenariats ciblés. Sur le plan thématique, la fondation est active avec des programmes dans les domaines des villes durables, de la transformation numérique, de la santé mentale et de l’éducation.

Afin de suivre et d’améliorer en permanence ses programmes, la fondation dispose d’un concept d’apprentissage et d’évaluation stratégiques (Strategic Learning and Evaluation Framework, SLE). Celui-ci est intégré dans les activités et les structures de la fondation. Alexander Schulze, Chief Programme Officer à la Fondation Botnar, a présenté la conception et la mise en œuvre du SLE. Celui-ci sert premièrement à acquérir des connaissances axées sur l’utilisation et à soutenir la prise de décisions stratégiques des organes de la fondation. Deuxièmement, les preuves obtenues par l’évaluation doivent soutenir une culture organisationnelle d’apprentissage, de réflexion et d’adaptation permanente. Troisièmement, une approche inclusive et participative sera adoptée afin de garantir que les voix des partenaires et des parties prenantes soient entendues et prises en compte dans les processus décisionnels. Enfin, les résultats de l’évaluation serviront à présenter les activités et les résultats de la fondation et à les rendre communicables.

Au cours de l’atelier, il est apparu que certaines conditions devaient être remplies pour que l’évaluation soit utilisée avec succès dans un environnement thématiquement complexe. Tout d’abord, il faut disposer de suffisamment de temps pour pouvoir formuler soigneusement les questions d’évaluation, et ce en impliquant les acteurs concernés. Outre la saisie et l’appréciation des effets des programmes, il faut également évaluer les processus de mise en œuvre, les défis qu’ils posent et le contexte en vigueur.

La préparation et la communication des résultats de l’évaluation revêtent une importance centrale. Ceux-ci doivent être formulés dans un langage simple et facilement compréhensible. Les résultats doivent être mis en relation de manière logique et claire avec les recommandations. Les résultats doivent être préparés et diffusés en fonction des groupes cibles.

Lors du traitement des résultats de l’évaluation, il s’agit donc toujours de montrer comment des actions concrètes peuvent en être déduites. Dans ce processus, il doit y avoir une interaction entre les responsables du programme et les parties prenantes à tous les niveaux. Des forums et organes ad hoc peuvent être créés dans ce but, ce qui favorise la mise en œuvre des recommandations.

Rédaction et modération : Stefan Rieder (Interface).

Cette année, les jeunes évaluateur·rice·s émergent·e·s (le groupe de travail des SwissJEE) ont souhaité rendre le congrès plus accessible aux jeunes évaluateur·rice·s tout en augmentant leur visibilité. À cette fin, deux initiatives ont été mises en place : un événement organisé en parallèle des ateliers méthodologiques du jeudi après-midi et une série de tandems entre jeunes évaluateur·rice·s et professionnel·le·s expérimenté·e·s, qui s’est tenue lors de l’apéritif du vendredi.

Ces initiatives visaient principalement à permettre aux jeunes évaluateur·rice·s de tisser des liens entre eux·elles et de se sentir plus à l’aise dans leur participation à ce congrès. SwissJEE leur offre ainsi accès à un réseau étendu dans le domaine de l’évaluation en Suisse. Par ailleurs, avec des membres du comité SwissJEE approchant la limite d’âge, cette édition a aussi servi à encourager l’engagement de nouveaux·elles membres pour assurer la relève.

Le side event a pris la forme d’un atelier de discussion animé par trois membres de SwissJEE : Rima Bey, Philipp Zogg et Julián Salazar. Cet atelier a réuni plus d’une dizaine de participant·e·s venant de diverses régions de Suisse et de l’étranger, dont la plupart découvraient ce réseau pour la première fois. Parmi eux·elles, des doctorant·e·s en sciences politiques ainsi que des évaluateur·rice·s juniors.

Après une présentation de SwissJEE, nous avons discuté des défis rencontrés par les jeunes évaluateur·rice·s présent·e·s et des outils disponibles pour les soutenir. Finalement, nous avons conclu avec les besoins actuels des jeunes évaluateur·rice·s présent·e·s et des réflexions sur l’avenir de SwissJEE. Il est principalement ressorti trois besoins :

1. Offre de modules de formation courte sur des méthodes / thèmes spécifiques (modules de 1 jour par ex.) utiles pour apprendre le métier d’évaluateur·rice, ouvertes à tou·te·s (jeunes diplômé·e·s, personnes en reconversion professionnelle, etc.) et à des prix abordables.
2. Mise en commun de ressources bibliographiques, d’exemples d’évaluation et autres ressources utiles pour les personnes débutant dans l’évaluation (liens, articles, événements, etc.).
3. Renforcement du réseau d’échange entre jeunes évaluateur-rice-s avec des rencontres pluriannuelles et renforcer les liens entre juniors et professionnel·le·s expérimenté·e·s.

Ces échanges ont mis en évidence l’importance et la pertinence de SwissJEE en tant que groupe de soutien pour les jeunes évaluateur·rice·s. Les besoins discutés et qui rejoignaient ceux identifiés lors de l’enquête faite par les Swiss JEE il y a six ans vont aider à orienter les activités futures de SwissJEE.

Dans un second temps, des tandems entre jeunes diplômé·e·s ou évaluateur·rice·s juniors (une quinzaine de personnes) et des évaluateur·rice·s expérimenté·e·s (cinq personnes) ont eu lieu. Pour faciliter les échanges, une liste de questions et de sujets de discussion a été fournie. Cette initiative a été chaleureusement accueillie par les plus jeunes, nombreux·euses à saisir cette opportunité de poser leurs questions et de rencontrer de potentiel·le·s employeur·euse·s, d’en apprendre davantage sur le parcours des personnes expérimentées et recevoir des conseils ciblés. De leur côté, les évaluateur·rice·s plus expérimenté·e·s ont également trouvé les échanges enrichissants.

Pour les jeunes professionnel·le·s, ces rencontres ont été l’occasion de découvrir qu’un réseau qui est à leur disposition pour les accompagner dans leur recherche de stages et d’emplois, tout en leur offrant un aperçu de la diversité des employeur·euse·s du secteur. À l’avenir, les SwissJEE souhaitent pérenniser leurs rencontres et les tandems afin de renforcer encore leur intégration dans la communauté des évaluateur·rice·s en Suisse.

Rédaction : Rima Bey.

Clôture artistique

Le comité d’organisation a choisi une clôture artistique pour stimuler à la fois la logique et l’émotion dans la communication. L’hémisphère gauche du cerveau, lié à la logique et à l’analyse, traite les mots et les faits, essentiels pour structurer un discours. Cependant, pour capter l’attention, l’hémisphère droit, responsable de la créativité et des émotions, doit aussi être sollicité. Il permet de rendre un message vivant et mémorable grâce aux histoires et aux images mentales. Ainsi, une communication efficace requiert l’engagement des deux hémisphères pour combiner rigueur et impact émotionnel.

La proposition était ainsi de laisser notre hémisphère droit dans les mains expertes de Madame Maria Zarraga, qui maîtrise l’art de jongler entre les deux hémisphères de son cerveau : Managing Director & Senior Evaluation Consultant, ForWaves Consulting®, elle a plus de 20 ans d’expérience dans les secteurs public et privé, y compris dans le cadre des Nations Unies et est également musicienne (violon, piano, composition). Elle a interprété deux pièces, une de sa composition, puis le Canon de Pachelbel, pour le plus grand plaisir du public.

Rédaction : Claudine Morier (laoulia).

Comité d’organisation : Mélanie Attinger, Cornelia Hänsli Marrei, Eric Moachon, Claudine Morier, Christian Rüefli.