Etat des lieux : Effectuer, Examiner, Enquêter, Explorer, Eclairer, Eclaicir, Exprimer, Etaler, Etablir, Eriger, ...
Etude de la problématique : Entendre, Ecouter, Enoncer, Echanger, Estimer, Envisager, Elaguer, Ecrire, Expertiser, ...
Etayage des réponses : Eveiller, Expliquer, Exposer, Elaborer, Enrichir, Enclencher, Encourager, Engager, Edifier, Entrainer, Essayer, Expérimenter, Eprouver, Executer, ...
Effets produits : Etudier les conséquences, Evaluer, Entretenir, Enchainer, Enclencher la suite, ...

Etat des lieux : "plus global illustrant la compréhension du terrain et contexte d’intervention :

• Quelle collecte et analyse de données sur des facteurs sociaux, culturels, environnementaux, économiques ou politiques ?
• Quelle est notre compréhension du public bénéficiaire ou des usagers ?
• Quelle est la situation de départ et quels sont les enjeux auxquels l’action compte s’adresser ?
• Quelle est la justification de l’action au regard des besoins identifiés ?
• Au-delà de la situation de départ, quels sont les changements ou tendances en cours ? (par exemple, dans le cadre d’un programme d’accès à l’emploi, sommes-nous  dans une phase de développement ou de récession économique, etc.)
• Quels sont les freins au changement ?
• Le projet se met en place dans un environnement mouvant, les dynamiques actuelles sont-elles positives ou négatives ?" ¹

Etude de la problématique : "DIAGNOSTIC : Il s’agit de la collecte et analyse de données primaires et secondaires qui permettent d’éclairer une problématique.

Des données statistiques bien sûr avec des informations chiffrées, des variables socio-démographiques, permettant d’appréhender un territoire ou une population, de renseigner sur l’ampleur d’une situation, d’un phénomène.
Exemple d’indicateurs :
➡ Prévalence de l’insuffisance pondérale chez les enfants de moins de 5 ans
➡ Taux d’accès aux services sociaux de base
➡ Taux de chômage
Mais également à travers des projections, cartographies, travaux de recherches universitaires, archives, etc.
Les méthodes et outils de collecte de données sont similaires à ceux que utilisés ultérieurement pour le suivi et évaluation de la mise en oeuvre :

• veille documentaire/étude documentaire
• observation
• entretiens individuels
• focus group / groupes de paroles
• questionnaires

L’origine du projet : Il est toujours intéressant de revenir, de retracer et parvenir à identifier l’élément déclencheur de la démarche, du projet, du programme, de la mesure.
Qui donne la première impulsion et pourquoi ? Une politique nationale ? Une association ? Un élu local ? Un collectif d’usagers d’un service public ? Quelles sont les motivations ou valeurs qui sous-tendent cette action ?
Considérer les « contextes pragmatiques » : Pour autant, selon Jean-Pierre Olivier de Sardan, ces savoirs ne renseignent pas sur "les jeux d’acteurs, les normes pratiques des fonctionnaires, les routines des services et des bureaux, les rapports de pouvoirs et d’influence, les attentes perceptions, frustrations et rumeurs, les clans, cliques et factions qui structurent la vie quotidienne des administrations et des populations avec lesquelles elles interagissent", qualifiés de contextes pragmatiques.

Etayage des réponses : Modélisation. Il s’agit maintenant de matérialiser la réponse que nous souhaitons apporter à la problématique analysée lors de la phase de diagnostic.
Quelle est la stratégie, le postulat de base, la vision ?
Comment coucher sur le papier dans un premier temps cette projection et les effets attendus à court, moyen et plus long terme ?
Sous forme de représentation graphique ou de narratif, d’arborescence ou de projection linéaire, du plus complexe au plus basique, une théorie du changement ou une chaine de résultat permettra d’illustrer votre projection.
Voici le format de modèle logique que nous suggérons d’utiliser.

Nous porterons une attention toute particulière aux interactions entre le contexte et la mise en oeuvre. Un programme est une greffe sur un terreau que nous ne maitrisons pas. Nous n’avons aucune idée à ce stade si la greffe va prendre ou non, ou encore quand et comment elle va prendre. Il peut sembler vain d’extrapoler des effets indirects lointains alors qu’une priorité sera de pouvoir capter les tout premiers effets, les effets émergents.

Ainsi, l’objet est de tester un premier niveau de cohérence entre les besoins identifiés et la réponse envisagée." ¹

1/eval.fr/concevoir-un-systeme-de-suivi-evaluation/etape-1-etat-des-lieux

Effets produits : impacts et évaluation...

"La démarche HQSE (Haute Qualité en Suivi et Evaluation)

Cette démarche se construit autour de 4 fondamentaux et 8 points d’équilibre. Au centre du processus : l’apprentissage et un Suivi Evaluation Dynamique (SED).

L’apprentissage en ligne de mire

Subtil équilibre entre apprentissage et transparence, le système de SE alimente la prise de décision via la génération de savoirs. L’exigence de transparence ne doit pas être atteinte au détriment du potentiel d’apprentissage des opérateurs. Les données générées par le Système de SE sont ainsi moins centrées sur l’appropriation de l’impact.

Un Suivi et Evaluation dynamique (SED)

Le système de SE participe à l’action et oriente l’impact. Les outils de collecte d’information sont systématiquement pensés et conçus à double sens avec un rôle de diffusion de l’information : rappel de la théorie sous-jacente à l’action, les objectifs poursuivis, les changements attendus, la mesure de l’appropriation du programme par les usagers ou l’éclairage de chaque étape de progression vers les incidences visées.

La démarche vise également à éclairer les processus décisionnels : retracer le cheminement préalable à la prise de décision. D’une part dans un souci de transparence, de l’autre pour une meilleure réactivité via une utilisation rapide des informations issues du système.

Diagnostic du dispositif existant et formation aux fondamentaux de la discipline du suivi évaluation

Toute démarche HQSE débute par un état des lieux des outils existants et un diagnostic du dispositif de SE en place.

Dans le cadre de la démarche HQSE, les responsables de programmes sont préalablement formés aux fondamentaux de la discipline du Suivi Évaluation, aux principales approches méthodologiques puis accompagnés dans la conception et mise en place de leur propre système de suivi et d’évaluation.

Les structures élaborent alors un processus de suivi et d’évaluation systématique des activités/actions, des projets/programmes et des enjeux/stratégies. Dès la conception de l’action, un système de suivi et d’évaluation est intégré, centré sur l’usager, garantissant à minima que la pertinence, la cohérence interne, la cohérence externe, l’efficacité, l’efficience, l’impact et la pérennité de l’action soient examinés à échéances fixes (voir ici les critères d’évaluation).

En renforçant les capacités d’auto-évaluation et l’évaluation interne est recherchée une dynamique de suivi & évaluation à chaque échelon du projet, une appropriation et une adhésion à la démarche évaluative.

Une fois la démarche méthodologique mise en œuvre, le retour à l’essentiel : le bon sens. Au service de la collectivité et de l’intérêt général.

Les fondamentaux

1. Les usagers au coeur du dispositif

A chaque étape de mise en place du système de Suivi et Évaluation (SSE), les usagers sont sollicités et impliqués. Le degré de participation (information, consultation, concertation, co-décision) est défini en amont et, en tant qu’objectif à part entière, comporte ses propres outils de suivi.

2. Un système de suivi et d’évaluation doté de ressources propres

3% (à minima) des ressources de l’action, du projet, de la politique sont affectés au fonctionnement du système de suivi et d’évaluation. Dès la conception du projet, une ligne budgétaire spécifique (généralement estimée de 3 à 7% du budget global), couvre l’ensemble des frais liés à cette fonction (concertations, enquêtes, collecte, traitement et analyse de l’information, restitutions, suivi des recommandations, etc.). Le temps consacré par chaque acteur aux activités de SE est anticipé et la fonction SE est intégrée dans les profils de poste.

3. Intégration d’échéances trimestrielles consacrées à la maintenance du système de suivi et d’évaluation

4 points annuels de suivi et d’évaluation du système sont programmés. Ces temps peuvent être fusionnés avec des outils de management et de gestion existants : séminaires, réunions mensuelles, comités de pilotage, etc.

4. La figure libre

En complément de méthodes reconnues, les porteurs de projets innovent avec un mix méthodologique qui leur est propre et la liberté de proposer des outils innovants ou alternatifs. Objectif : capturer toute trace de l’action sous tout type de support : cartes, plans, photos, vidéos… Capturer ce qui fait sens grâce à une mosaïque d’informations; contrebalancer les apports statistiques par des perceptions plus abstraites mais néanmoins riches en informations.

Une recherche d’équilibre

La démarche HQSE se caractérise par une recherche d’équilibre. Un équilibre à trouver sur l’ensemble des caractéristiques du système : 

1. équilibre au niveau de la finalité de la démarche d’évaluation

L’évaluation ne consiste pas uniquement à mettre en place des outils de pilotage. L’évaluation ne consiste pas uniquement à rendre des comptes aux diverses parties prenantes. L’évaluation n’est pas uniquement un exercice d’apprentissage, puisqu’elle permet également la mise en place d’outils de pilotage et le renforcement de la transparence… Ainsi un temps de réflexion sur la finalité de la démarche permettra d’envisager l’équilibre entre les principales fonctions de l’évaluation.

2. équilibre au niveau des méthodes d’évaluation

Un système de suivi et d’évaluation se construit sur des méthodes mixtes, c’est à dire des combinaisons de méthodes. Sont principalement recherchés :

• une triangulation de l’information : obtenir différents éclairages sur une même question

• une combinaison de données quantitatives et qualitatives : des données chiffrées et également des témoignages, des récits, des opinions…

3. équilibre au niveau des critères d’évaluation

Le principal intérêt d’un système d’évaluation est d’obtenir une vision d’ensemble qui permette d’interroger les interactions entre les différents critères : pertinence, cohérence et complémentarité, efficacité, efficience, impact, pérennité…

Bien sûr, rien n’empêche suivant le contexte ou les priorités du moment d’approfondir l’analyse d’un critère plutôt qu’un autre. Mais quelle utilité de chercher à mesurer l’efficacité d’un programme sans regarder également le fondement de ce même programme (pertinence) ? Comment s’intéresser à la pertinence sans regarder parallèlement quels autres acteurs tentent de répondre aux besoins effectivement détectés (cohérence et complémentarité) ?

Equilibre également via la prise en compte de critères transversaux (genre, social, environnement,…) et bien évidemment de critères ou domaines de changement complémentaires ou spécifiques à son champs d’action (couverture, utilité sociale, accès à la citoyenneté, au soin, au logement, à l’emploi, etc.)

4. équilibre au niveau du périmètre de l’évaluation

Trop souvent, l’évaluation se limite à analyser une action, ou un programme, sans s’intéresser à la stratégie de la structure qui porte l’action. Les freins sont nombreux à l’analyse d’une stratégie, car cela suppose d’accepter une remise en cause de la gouvernance. Pourtant, pour permettre cette vision globale, le système de suivi et d’évaluation nécessite la prise en compte équilibrée de l’ensemble des strates potentielles du périmètre : de l’action quotidienne au plan stratégique.

La définition du périmètre d’évaluation permettra également d’inclure des zones géographiques, des périodes temporelles, des outils…

5. équilibre au niveau des auteurs de l’évaluation

L’auto-évaluation permettra un degré de compréhension fin de chaque action et, au-delà, la connaissance de l’historique du projet. Là où des évaluateurs externes ne pourraient que constater une amélioration ou un dysfonctionnement, les opérateurs de terrains, acteurs et auteurs de l’auto-évaluation, pourront retracer la chaine d’évènement ayant engendré la situation rencontrée.

A l’inverse, les évaluateurs externes pourront apporter un regard neuf et supposément neutre sur la situation, ainsi qu’une expertise en méthodologie de suivi et d’évaluation.

Enfin, l’évaluation interne, idéalement pilotée par un service spécifique (et non pas de manière transversale par les chargés de programmes) permettra de jouer les chefs d’orchestre, de mettre en harmonie, d’accompagner les processus afin de tirer le plus d’enseignements des données fournies par l’auto-évaluation et par les évaluateurs extérieurs.

6. équilibre au niveau de la temporalité de l’évaluation

Le Suivi Évaluation est un cycle, intégré à chaque moment de la vie de l’action, du programme, de la stratégie. Le système de suivi et d’évaluation devra donc s’inscrire en filigrane et à chaque moment de la vie du projet : ex-ante (avant le démarrage) à mi-parcours, à la fin de l’action, et ex-post (bien après la fin de l’action afin d’en relever les effets à moyen ou long terme).

7. équilibre entre reporting et recherche

Le Suivi Évaluation est bien plus qu’un simple reporting sur une activité, par exemple le décompte des bénéficiaires. Pour autant, même si les questions évaluatives sont hautement intéressantes et pourraient faire l’objet de recherche, les moyens et compétences en interne restent souvent limités. L’implication consacrée à la recherche ne doit pas se faire au détriment de l’opérationnel. Des partenariats avec des laboratoires de recherche peuvent être alors recherchés afin d’approfondir la réflexion.

7.2 équilibre entre suivi et évaluation

8. équilibre dans les flux de redevabilité

En quelques mots, « le temps de cerveau disponible » des porteurs du projet est-il équilibré entre le devoir de redevabilité envers les commanditaires et le devoir de redevabilité envers les usagers/bénéficiaires ? Passe-t-on plus de temps à réfléchir à ce qui va être remonté au bailleurs de fonds qu’à mettre en place l’action ?"

eval.fr/la-demarche-hqse-haute-qualite-en-suivi-et-evaluation

.