Introduction

Le premier document de la série relate deux expériences d'évaluation de programme développé à partir d'une approche populaire.

Le second document décrit, par le biais d'un journal de bord, comment le groupe et les personnes impliquées se sont appropriées le processus d'évaluation.

Ce dernier document s'adresse aux personnes qui sont peu initiées en matière d'évaluation. Le contenu du document vise à vulgariser les étapes d'une démarche d'évaluation. Il peut aussi servir d'outil d'accompagnement aux animateurs et animatrices.

Ce document se veut un outil de formation et d 'accompagnement en évaluation participative. Il s'adresse à des personnes qui connaissent peu les démarches d'évaluation et qui sont peu à l'aise avec la lecture et l'écriture.

Le document vise à mieux comprendre la démarche d'une évaluation et le vocabulaire utilisé clans une évaluation. L'ouvrage est divisé en deux parties. La première partie a comme objectif de comprendre ce qui se passe dans une démarche d 'évaluation, pourquoi faire des évaluations, et surtout comment pouvons-nous avoir une place dans les décisions qui seront liées à l'évaluation. La deuxième partie tente d 'expliquer simplement le vocabulaire et les mots parfois compliqués, qui sont utilisés dans les méthodes d'évaluation.

Nous profitons de cette deuxième partie pour donner des exemples concrets à propos des différentes étapes de la démarche d'évaluation.

Le cahier est aussi fait de manière à ce que les personnes écrivent des notes tout au long de la démarche à laquelle elles participeront. Ce cahier leur appartient. Il est un outil pour les personnes, un outil qui favorisera leur participation et leur implication.

Nous espérons donc qu'il sera aidant pour les personnes qui participent à une évaluation et qu'il facilitera le travail d 'accompagnement nécessaire à la réussite d'une démarche participative.

Partie 1

L'évaluation

Qu'est-ce que ça nous dit des évaluations?

Nous avons souvent tendance à penser que faire l'évaluation d'une activité, d'un programme, d'une démarche signifie:

• de se vider le cœur;
• d'affirmer son mécontentement;
• de critiquer une situation ou une personne

Nous avons très souvent une image très négative de l'évaluation, car nous avons l'impression que:

• se faire évaluer, c'est se faire juger,
• c'est laisser une autre personne porter un jugement sur nous.

Mais qu'est-ce que c'est vraiment une évaluation?

Une évaluation, c'est comme si l'on décidait de mettre un paire de lunette pour mieux regarder et comprendre la réalité ou une situation. En d'autres mots, c'est:

Regarder
Se faire une idée
Changer la situation

• Voir ce qui va bien dans un projet;
• Voir ce qui va moins bien;
• Pourquoi c'est comme ça?;
• Qu'est-ce que Ton peut faire pour changer la situation si c'est nécessaire?;
• Comprendre le cheminement des personnes.

Est-ce que nous sommes obligés de faire des évaluations?

La réponse est oui et non.

Plusieurs raisons font en sorte que les organismes communautaires évaluent les activités qu'ils font avec les personnes:

• Pour répondre à des questions que nous avons;
• Pour savoir si les personnes sont satisfaites de la ressource qu'elles utilisent et si l'organisme répond aux besoins des membres;
• Pour savoir si les services offerts apportent quelque chose aux personnes qui les utilisent;
• Pour améliorer les services et les actions;
• Pour connaître ce que pensent les personnes d'une situation,d'une activité ou d'un projet;
• Parce que que nous avons des comptes à rendre à ceux qui donnent des sous pour réaliser les activités et services.

Le problème que nous vivons avec les évaluations, c'est que nous avons l'impression...

• que nous avons peu de pouvoir et de contrôle sur la façon dont elle se déroule;
• que les personnes impliquées dans les activités évaluées sont comme des objets;
• que ce sont des experts ou des expertes qui imposent leur vision des choses et leur façon de faire;
• qu'il faudra obligatoirement raconter sa vie à des étrangers ou à des étrangères;
• et en plus ce n 'est pas très sécurisant de faire quelque chose que l'on ne connaît pas.

Et si l'on devenait des experts et des expertes!

Et si l'évaluation partait de nous, de nos valeurs, nos capacités, de nos façons de faire!

• Cela veut dire de croire que nous sommes capables nous-même, de juger et comprendre notre situation;
• Cela veut dire de croire que les personnes sont les mieux placées pour juger de leur participation, de la qualité des activités auxquelles elles participent, des changements que leur participation à des activités apportent à leur vie;
• Cela veut dire de croire que l'ensemble, équipe de travail, les bénévoles, les ressources impliquées et les membres sont capables et responsables d'avoir un regard honnête sur ce qu'ils réalisent et sur ce qu'ils sont tout en sachant que cela peut être difficile de regarder la réalité en face.

L'évaluation participative, une démarche positive!

L'évaluation participative est une approche différente d'évaluation qui met un accent particulier sur la participation de toutes les personnes concernées par les activités et les projets qui seront évalués. Donc ces personnes auront un mot à dire sur:

• Qu'est-ce qui sera choisi d'évaluer?
• Comment se dérouleront les activités d'évaluation?
• Qui accompagnera les personnes et le groupe pour faire le travail?
• Quels moyens seront utilisés par recueillir l'information que l'on veut savoir?
• Quelles informations le groupe et les personnes accepteront de fournir?
• Qui réalisera les tâches à faire tout au long du travail?
• Qui aura accès aux renseignements qui seront fournis?

Est-ce que cela voudra dire que n'importe qui peut participer à une évaluation?

Pour participer à une évaluation, il faut d'abord être impliqué dans l'activité ou le projet qui sera évalué.

Par exemple, si un organisme doit évaluer les activités en alphabétisation ou des activités avec des mères ou des pères, ce sera toutes les personnes concernées par ce projet:

• les participants et les participantes
• les animateurs et les animatrices
• la coordonnatrice ou le coordonnateur
• les bénévoles ou des membres du conseil d'administration
• les personnes ressources qui accompagneront le projet

Comité d'évaluation

Le comité d'évaluation devra être composé de personnes qui ont des compétences variées:

• savoir négocier avec les fonctionnaires;
• être capable d'écrire des rapports;
• bien connaître les activités qui seront évaluées;
• bien connaître l'organisme;
• être capable d'animer les comités de travail;
• bien connaître les personnes, leurs capacités, leur limites, leur réalité.

Le comité, c'est lui qui décidera avec l'accord du conseil d'administration

Quoi évaluer et avec qui évaluer
Pourquoi et comment sera faite l'évaluation?
Il faut donc lui faire très confiance.

Dans votre organisme, qui pourrait évaluer vos activités d'alphabétisation? Imaginez un comité d'évaluation à partir de votre réalité d'organisme.

[Voir l'image pleine grandeur]

Avez-vous pensé aux personnes «spécialistes» en évaluation?

On se décide à faire une évaluation

Parce que cela répond à un besoin:

• Apprendre quelque chose sur une situation.
  Exemple: Qu'est-ce que les personnes ont appris dans les ateliers d'alphabétisation?
• Répondre à des questions que l'on se pose sur une activité
  Exemple: Est-ce que les apprentissages se font au même rythme pour tout le monde?
  Exemple: Est-ce que les parents qui apprennent à lire et écrire sont ensuite capables d'aider leurs enfants?

Parce que nous sommes prêts et prêtes à faire des changements?

• Exemple: Accepter de faire plus de calcul parce que nous avons découvert un faiblesse à ce niveau dans nos apprentissages.

Parce que nous voulons y mettre du temps et acceptons collectivement de faire notre part.

• Exemple: On accepte de consacrer du temps à l'intérieur de nos activités pour parler de l'évaluation, répondre à des questionnaires ou des questions de groupe.

Parce que nous sommes psychologiquement prêts et prêtes.

• Exemple: Si on décide de participer à une évaluation pour régler des comptes, des conflits, des chicanes de familles comme on dit, cela veut dire que nous ne sommes pas prêts et prêtes psychologiquement.

Parce que nous sommes prêtes et prêts à se regarder le nombril.

Parce que nous avons que cela nous servira collectivement.

Partie 2

Essayons de comprendre le vocabulaire de l'évaluation

Quelques définitions pour mieux comprendre le vocabulaire utilisé en évaluation

Évaluation

(Cette définition est tirée d'un document intitulé «Manuel d'évaluation participative et négociée, cahier 1 de Louise Gaudreau et Nicole Lacelle).

Évaluer, c'est essentiellement:

- Porter un jugement

• sur la valeur d'un objet clairement défini
• à partir de renseignements méthodiquement recueillis
• selon des critères clairement énoncés

- Pour ensuite décider des mesures à prendre suite à ce jugement

• Faire une évaluation, c'est plus que faire des comptes rendus d'activités, c'est une démarche scientifique qui exige une méthode.
• Il faut donc bien s'organiser.

Approche

• L'approche précise sous quel angle on aborde une question.
• L'approche d'une évaluation nous dira quels valeurs et principes guideront la démarche.

L'approche d'une évaluation participative est guidée par les valeurs et les principes suivants:

• croire en la capacité des personnes
• impliquer les personnes
• décider collectivement
• donner du pouvoir aux personnes

N'oublions pas, ce sont les personnes évaluées qui évaluent ce qui les concerne.

Devis d'évaluation

• Le devis, c'est comme la structure de la démarche.
• Le devis, c'est comme le squelette d'un corps, le plan d'une maison une recette de cuisine.
• C'est lui qui aide à comprendre toutes les étapes du travail. Pourquoi on fait l'évaluation, avec qui, comment, pour qui, avec quels principes?

Le devis donne les renseignements suivants sur la démarche d'évaluation:

1. le but de l'évaluation
2. les questions de l'évaluation
3. les critères qui serviront à juger
4. la méthodologie
5. l'objet d'évaluation
6. les objectifs de l'évaluation
7. les indicateurs de l'objet
8. comment seront utilisés les résultats

Méthodologie

La méthodologie nous explique comment il faut faire les choses tout au long de la démarche.

C'est comme construire une maison ou faire une recette. On ne peut pas construire le toit sans avoir fait la fondation. De même, on ne peut pas faire cuire un gâteau sans avoir mélangé les ingrédients.

La méthodologie d'une évaluation nous indiquera la méthode à suivre tout au long de la démarche. Elle indiquera les étapes à suivre:

D'abord, il faut choisir

• une approche (par exemple, l'approche participative)

Et ensuite décider...

• le type d'évaluation, c'est-à-dire est-ce que l'évaluation portera sur le déroulement des activités (évaluation formative) ou sur les résultats que donne une activité (évaluation sommative)ou sur les deux à la fois.
  Quand c'est formatif, on se demande comment ça se passe dans les activités.
  Exemple: Est-ce que les personnes participent et comment? Est-ce qu'elles ont pris la parole?
  Quand c'est sommatif, on se demande quels sont les résultats de notre travail.
  Exemple: Est-ce que les personnes ont progressé (peu ou beaucoup) depuis qu'elles participent aux ateliers?

Et préciser de quelle manière se fera la collecte de données: de quelle façon faut-il procéder pour obtenir les renseignements que l'on veut savoir?

Quelles seront:

• Les sources d 'information, c'est-à-dire qui donnera les renseignements sur ce qu'il faut savoir.
  Par exemple, si on veut connaître les apprentissages que les personnes ont faits, on peut vérifier auprès des personnes et auprès des animatrices.
• Les instruments utilisés, c'est-à-dire avec quels outils il faudra vérifier auprès des personnes. Est-ce avec un questionnaire, une entrevue, une rencontre de groupe, des observations, etc.?
• Les règles de fonctionnement durant la démarche, c'est-à-dire quand et combien de fois il sera nécessaire de remplir un questionnaire ou de faire des entrevues. Est-ce au début et à la fin de chaque activité? Est-ce au début ou à la fin de l'année? Est-ce seulement à la fin des activités?
• La manière dont seront analysés les résultats. Est-ce par des calculs statistiques, par des discussions, par l'analyse du contenu des rencontres ou des entrevues?

Objet d'évaluation

L'objet d'évaluation, c'est le «quoi».

En d'autres mots:

• qu'est-ce que nous examinerons en détail
• sur quoi portera notre regard

[Voir l'image pleine grandeur]

Soyons plus simple!

• Évaluer le «programme d'alphabétisation»
• Évaluer «le projet entraide famille»
• Évaluer les «ateliers éducatifs parents-enfants»

Objectifs d 'évaluation

• Les objectifs d'évaluation, c'est la cible que l'on vise?
• Qu'est-ce que l'on veut précisément observer et analyser dans le programme ou les activités que nous voulons identifier?

[Voir l'image pleine grandeur]

Regardons de plus près une cible!

Objet
Projet «alphabétisation»
Objectif/(cible)
Mesurer les capacités en écriture et lecture

Objet
Programme de développement des compétences parentales
Objectif/(cible)
Augmenter la communication avec son enfant

Indicateurs

L'indicateur, c 'est ce qui démontre si nous avons atteint la cible prévue.

L 'indicateur, c'est une information

• Une information que l'on peut mesurer
• Une information que l'on peut observer
• Une information qui indique la quantité et la qualité d'une chose

Partons de nos cibles

Cible
Connaître les compétences en écriture et lecture
Indicateur
Être capable de lire un court message

Dans votre organisme, qu'est-ce qui pourrait être un objet d'évaluation?
Essaie de répondre:

Cible
Augmenter la communication avec son enfant
Indicateur

L'indicateur, c'est toi qui le décide.
Il faut pour cela te poser des questions

• Qu'est-ce qui te permettrait de dire que tu communiques plus avec ton enfant?
  Exemple de réponse:
  En calculant le nombre de fois que tu communiques
  ou
  En mesurant la durée du temps passé avec ton enfant
• Qu'est-ce qui te permettrait de dire que tu communiques mieux avec ton enfant?
  Exemple de réponse:
  Je suis capable d'identifier plusieurs façons que mon enfant a de communiquer
  ou
  Je suis capable de parler de plusieurs sujets avec mon enfant.
• Qu'est-ce qui te permettrait de dire que tu fais des apprentissages en lecture?
  Exemple de réponse:
  Je suis capable d'aider mon enfant à lire
  ou
  Je suis capable de lire devant un groupe
  ou
  Je suis capable de lire des sections d'un journal

Instrumentation

S'instrumenter, c'est s 'outiller. C'est comme cuisiner ou construire. Il faut avoir les bons outils pour faire les bonnes choses. De même que l'on ne peut pas faire cuire une soupe dans un poêlon.

S'outiller en évaluation, c'est préparer le matériel nécessaire à la réalisation de la cueillette de données:

• élaborer les questionnaires,
• élaborer les grilles pour recueillir les données
• élaborer les grilles pour analyser et compiler les données
• élaborer les questions d'entrevues

[Voir l'image pleine grandeur]

C'est souvent une personne habituée qui fait ce travail, car c'est un peu compliqué.

Et dans une évaluation participative, c 'est important que les personnes approuvent le matériel qui servira à recueillir les renseignements, car cela permet de vérifier:

• si les questions concernant l'évaluation sont bien comprises par tout le monde
• si les questions sont les bonnes questions qui permettront de trouver les réponses à vos questions
• si le matériel utilisé par les personnes qui feront la collecte de donnée est bien compris

Cueillette de données

La cueillette de données, c'est l'étape qui précède la récolte. Elle arrive après un long moment de préparation et elle se divise en deux parties:

1. La cueillette
2. La saisie des données

La cueillette de données, c'est le moment où l'on passe à l'action:

• Rencontrer les personnes concernées par l'évaluation ( les participants et les participantes, la ou le coordonnateur, l'équipe d'animation ou toute autre personne mentionnée dans le matériel de préparation. Ces rencontres s 'appellent:
  «focus group», groupe témoin, entrevue, rencontre individuelle, etc.
• Remplir les questionnaires ou autres moyens mentionnés dans le matériel de préparation

La saisie des données, c'est le moment où il faut mettre ensemble toute l'information reçue.

• Ce travail est souvent fait par une personne habituée, car il faut connaître les méthodes un peu scientifiques qui permettent de mesurer les résultats. Pour faire ce travail, on se sert souvent de matériel informatique.

Résultats

Les résultats, c'est la grande récolte de tout le travail effectué durant l'année.

Après avoir mis ensemble toute l'information recueillie par les questionnaires, les rencontres, les entrevues ou autres moyens:

On essaie de comprendre le sens de tout cela;
On essaie de s'expliquer les choses;
On tente de lire et de décoder les messages

[Voir l'image pleine grandeur]

Chose importante, il n'y a pas de bons ou de mauvais résultats. Il y a seulement des réalités qui s'expliquent.

II faut savoir les observer, les analyser et les interpréter collectivement.

On peut décider après coup, de se servir ou non d'un résultat pour changer ou améliorer une situation.

Interpréter des résultats

Voici quelques exemples de la façon dont il est possible d'interpréter des résultats.

Lors d'une évaluation d'un programme en alphabétisation:

• les résultats démontrent que les personnes ont fait peu d'apprentissage en calcul

Interprétation: Comment expliquer ce résultat?

1. Cela peut tout simplement vouloir dire que les personnes font peu d'activités de calcul par rapport à des activités de lecture ou d'écriture. On peut décider de se servir de ces résultats pour augmenter le nombre d'activité de calcul si les personnes considèrent que c'est important ou tout simplement de ne pas en tenir compte.
2. Cela peut vouloir dire que les personnes ne comprennent pas bien le contenu des ateliers. Il faut dans ce cas trouver la raison expliquant pourquoi les personnes ne comprennent pas bien. Est-ce le contenu, est-ce la manière d'enseigner, est-ce le degré de difficulté? Une fois que le problème est identifié, on peut alors l'améliorer.
3. Peut-être aussi qu'il s 'est passé quelque chose de particulier durant l'année que la cueillette de données ne dit pas. Par exemple un changement d'animateur ou d'animatrice.

Le rapport d'évaluation et la diffusion des résultats

La diffusion des résultats est un moment important de la démarche et elle implique beaucoup de jugement.

• D'abord, l'évaluation est une démarche à l'intérieur d'un groupe et qui implique les personnes concernées par l'évaluation.
• Il est donc normal que les résultats soient d'abord diffusés aux membres, aux personnes concernées, à l'équipe de travail ainsi qu'au conseil d'administration.
• Si les résultats sont diffusés à d'autres personnes, il faut alors le consentement du groupe et des personnes. Habituellement, on prévoit dès le départ cette étape et 1'on précise collectivement:
  - à qui seront fournis les résultats?
  - quels résultats seront fournis et pourquoi?

Rappelons-nous qu'il n 'est pas nécessaire de tout mettre dans un rapport et qu'il est en notre droit de diffuser les résultats et l'information que nous souhaitons.

Annexes

Fiche – Notes personnelles et questions

[Voir l'image pleine grandeur]

Imprimer la fiche

Fiche – Objet d'évaluation

Dans votre organisme, qu'est-ce qui pourrait être un objet d'évaluation?

[Voir l'image pleine grandeur]

Imprimer la fiche

Remerciements

Ce document a été rendu possible grâce à la participation financière des Initiatives Fédérales Provinciales Concertées en alphabétisation II complète une série de trois documents portant sur des pratiques en évaluation participative avec des personnes peu alphabétisées.

Crédits

Production et rédaction du document
Lise St-Germain

Collaboration
Sylvie Tardif
Lucie Massicotte
Christian Daignault

Correction
Manon Claveau