Présentation

Ce document est le premier d'une série de trois documents portant sur les pratiques d'évaluation participative réalisées à COMSEP¹ avec des personnes peu alphabétisées. Ce premier document relate deux expériences en évaluation que nous avons menées avec des personnes en démarche d'alphabétisation ainsi qu'avec des pères et des mères participant à un programme de compétences parentales. Le second document est un journal de bord portant sur la vie de l'évaluation participative. Il permet, entre autres, de suivre toutes les étapes du processus d'évaluation ainsi que l'appropriation de la démarche par les personnes concernées. Le troisième document intitulé «Le cahier du participant et de la participante» se veut un outil d'accompagnement pour les personnes peu alphabétisées et peu familières avec les pratiques d'évaluation.

Avant-propos

Le présent document vise à décrire et à mettre en valeur deux expériences d'évaluation réalisées avec des personnes peu alphabétisées. Ces expériences ont été menées avec la préoccupation que notre organisme développe des pratiques d'évaluation ressemblant aux pratiques des groupes populaires. Il était donc important pour nous que les personnes concernées par l'évaluation soient partie prenante des décisions, qu'elles fassent des apprentissages à travers les activités d'évaluation et qu'elles développent un sentiment de contrôle et de prise en charge du processus d'évaluation.

La première expérience est une démarche d'évaluation du programme «Alphabétisation et implication sociale»². Elle a été réalisée à l'occasion de la mise en place d'un projet pilote avec le ministère de la Sécurité du revenu. Ce projet visait à implanter une mesure provinciale d'alphabétisation populaire pour les prestataires de l'aide sociale analphabètes. L'évaluation était conditionnelle à la mise en place de cette mesure.

La deuxième expérience est une démarche permanente d'évaluation participative. Elle est réalisée avec des parents à faible revenu, peu alphabétisés, participant déjà à diverses activités. Ces activités s'inscrivent dans un programme de développement des compétences parentales et sont financées par Santé et Bien-être Canada.³ Le financement des projets est conditionnel à une évaluation dans le but de mesurer l'impact des activités sur les populations rejointes. Notre organisme a donc négocié avec le ministère une approche participative d'évaluation. Nous avons choisi des «ressources expertes» pour nous accompagner tout au long du processus d'évaluation et nous avons fait participer les parents à toutes les étapes de l'évaluation.

Ce document fera donc état de ces expériences et des moyens que notre organisme a élaborés pour intégrer les personnes analphabètes au processus d'évaluation. Nous espérons également que la lecture du document contribuera à démystifier l'évaluation. Nos expériences ont démontré qu'il est possible que les groupes développent une expertise reconnue en matière d'évaluation, qu'ils s'approprient les processus d'évaluation et que l'évaluation devienne un instrument de développement démocratique plutôt qu'un outil de contrôle. Nous souhaitons que d'autres groupes d'alphabétisation puissent expérimenter cette approche et ainsi offrir aux personnes analphabètes un autre espace d'apprentissage et de participation démocratique.

Sylvie tardif de Comsep
Pour l'équipe d'évaluation

2. Présentation de l'organisme

La mission

Comsep est un organisme populaire dont la mission globale est de lutter contre la pauvreté des personnes et d'améliorer leurs conditions de vie. L'organisme réalise sa mission par des activités de défense de droits, de représentation, de sensibilisation, d'éducation et d'alphabétisation populaires ainsi que par des activités d'insertion et d'intégration à l'emploi. Plus de 4000 personnes dont 350 membres actifs participent à différentes activités ou bénéficient des services offerts par notre organisme. Ces personnes ont entre 18 et 70 ans. Il s'agit de personnes à faible revenu, analphabètes ou peu scolarisées, de familles monoparentales, de pères à faible revenu, de personnes assistées sociales, chômeuses ou sans revenu. Plus de 80% des personnes rejointes sont des femmes.

Les activités

Comsep a élaboré plusieurs activités répondant aux besoins des personnes et des familles des quartiers rejoints: des ateliers d'alphabétisation (l'envol alpha), un comité d'aide aux familles monoparentales (APPUI), un collectif de femmes, un collectif d'hommes et de pères, du théâtre populaire, un comptoir vestimentaire, des cuisines collectives, de la formation professionnelle ainsi que la mise sur pied de petites entreprises à caractère collectif.⁴ Ce dernier volet s'inscrit dans une démarche d'économie solidaire.

Les principes qui guident l'action de COMSEP

• Une visée de transformation sociale et un travail sur les causes des problèmes sociaux plutôt que sur les effets;
• Des démarches d'apprentissage qui mènent à des actions collectives ainsi qu'à une prise en charge des problèmes, c'est-à-dire favoriser chez les personnes démunies socio-économiquement une prise de conscience de leurs problèmes et les aider à trouver des solutions et à poser des actions qui améliorent leur situation;
• Des actions visant à rejoindre des populations qui ne contrôlent pas ou qui contrôlent peu leurs conditions de vie économiques et sociales.

Les approches privilégiées

Les approches privilégiées par le groupe sont l'approche de conscientisation, celle «d'empowerment» et l'approche axée sur des pratiques féministes. Ces approches visent à redonner du pouvoir aux personnes, à leur permettre d'analyser et de comprendre les problèmes sociaux et économiques les affectant comme personnes, comme citoyens et citoyennes, comme familles ou comme femmes et d'agir sur ceux-ci. Ces approches s'inscrivent dans une perspective d'éducation populaire et correspondent aux grands principes de l'action communautaire, soit une société plus démocratique, plus égalitaire entre les hommes et les femmes, juste sur le plan social et économique, non discriminante et non violente.

La participation à COMSEP

La primauté de la personne et l'importance de sa contribution dans la définition de ses besoins, dans l'implantation des services, dans l'organisation et dans l'évaluation globale de l'action de COMSEP sont au cœur des pratiques structurelles et organisationnelles de l'organisme. Ainsi, COMSEP propose aux personnes participantes plusieurs instances de représentation, de participation et de prise de décisions:

• L'assemblée générale annuelle de l'organisme qui prend toujours la forme d'une grande fête de la rentrée;
• Le conseil d'administration (C.A.), véritable lieu d'éducation populaire, où 9 des 18 personnes y siégeant sont des membres des comités. Le C.A. est considéré comme un lieu d'apprentissage et de participation;
• Des comités organisateurs (C.O.) où les membres participent à l'élaboration, à la planification et à l'organisation des activités;
• Un comité social formé des membres (hommes et femmes);
• Des comités ad hoc (organisation de grands événements, colloques, fêtes, mobilisation, création de services, etc.);
• Différentes consultations: sondage, évaluation, rencontres individuelles et collectives.

C'est dans cet esprit que nous avons intégré une pratique d'évaluation participative à notre processus global d'intervention. Utilisée comme moyen de prise en charge, comme processus d'apprentissage et comme outil pour reprendre du pouvoir sur sa vie, l'évaluation est donc perçue de manière positive par les membres. Elle s'intègre à un principe de base de notre organisme, soit le principe de l'appropriation (empowerment) ainsi que celui de l'éducation populaire.

L'appropriation
Les chercheurs définissent l'appropriation ou l'empowerment comme un «processus par lequel des personnes, des organisations ou des communautés acquièrent de la maîtrise sur leurs affaires» ou encore comme un «processus de développement et d'acquisition d'un plus grand contrôle et pouvoir sur sa vie.» Dans cette optique, «l'accent est mis sur le développement de la prise en charge individuelle et sur la valorisation, le soutien et le développement des connaissances, des compétences et des droits.»⁵

L'éducation populaire
L'éducation populaire se définit comme étant «l'ensemble des démarches d'apprentissage et des réflexions critiques par lesquelles des citoyens et citoyennes mènent collectivement des amènent une prise de conscience individuelle et collective au sujet de leurs conditions de vie et qui visent, à court, moyen ou à long terme, une prise en charge, une transformation sociale, économique, culturelle et politique de leur milieu.»

3. L'évaluation dans nos pratiques

3.1 Qu'est-ce que nous évaluons?

Depuis toujours, dans notre organisme, il existe des pratiques d'évaluation. Elles nous permettent d'établir et de préciser nos actions et nos objectifs;

• Notre plan d'action, nos objectifs annuels;
• Le déroulement de nos activités;

mais aussi de comptabiliser certaines données:

• Le nombre de personnes que nous rejoignons, leur âge, leur sexe, leur provenance (quartier);

et enfin à qualifier notre travail et nos activités:

• La satisfaction des membres;
• Le fonctionnement de l'organisme, la structure, les comités;
• Les équipes de travail, les bénévoles et les différents comités.

Avec quels moyens?

• des sondages et des questionnaires;
• des rencontres d'évaluation formelle;
• des journées de réflexion et des bilans périodiques et annuels;
• des assemblées spéciales d'évaluation;
• des discussions privées ou en groupe.

Différents espaces de décision

• dans les comités organisateurs des différents comités de COMSEP;
• au conseil d'administration, en assemblée spéciale, à l'assemblée générale annuelle;
• dans les rencontres d'équipe, de bénévoles, de représentants et représentantes des divers comités.

En fait, toute personne qui travaille dans l'organisme dispose d'un espace pour exprimer ses besoins, son désaccord, ses points de vue ainsi que sa satisfaction des activités de COMSEP. Ces résultats sont généralement intégrés dans les rapports d'activités et alimentent les plans d'action annuels.

Aspect formatif, aspect sommatif?

Nos évaluations sont donc généralement axées sur l'aspect formatif (processus, déroulement, données sociodémographiques) plutôt que sur l'aspect sommatif (effets et impact sur les personnes rejointes). Si nous sentons moins la nécessité d'évaluer les résultats, c'est probablement parce que nous voyons au quotidien, à partir de notre pratique terrain, les résultats de nos actions en termes de changements et d'effets sur le cheminement des personnes. Cependant, en matière d'évaluation, l'intuition et l'observation terrain ne sont pas des mesures scientifiquement reconnues. C'est pourquoi, certains programmes, comme le Programme d'action communautaire à l'enfance (PACE), exigent une évaluation plus systématique.

Plusieurs raisons peuvent amener un organisme à faire des évaluations de programmes ou d'activités. Mais la plupart du temps, quand un organisme se lance dans une évaluation, c'est pour répondre à des exigences de programmes ou à des normes politiques.

Des exigences politiques

• Rééditer un compte;
• Donner priorité à des clientèles;
• Mesurer l'impact sur les populations cibles;
• Mesurer la pertinence d'un projet;
• Connaître les besoins d'une population;
• Améliorer la qualité d'un service.

Des exigences, du contrôle?

Depuis quelques années, les gouvernements tant provincial que fédéral ont tendance à exiger des processus d'évaluation pour les programmes qu'ils financent et qui sont dispensés par les organismes communautaires. Notre organisme n'y a pas échappé. Plusieurs arguments justifient ces décisions: mesurer la pertinence d'un projet, connaître l'impact des programmes sur les populations rejointes, améliorer la qualité d'un service, cerner des populations dans le besoin, etc. Bien que toutes ces raisons trouvent justification, dans la réalité, l'évaluation est très souvent perçue comme un outil de contrôle qui nuit à l'autonomie des groupes et des personnes rejointes. En effet, très souvent, les groupes communautaires et les personnes qu'ils rejoignent ont peu d'espace de décision dans les évaluations qu'ils doivent réaliser.

Des enjeux

• Autonomie des groupes;
• Accessibilité aux personnes;
• Contrôle social ou appropriation par les personnes concernées du processus d'évaluation;
• Apprentissage et développement des capacités collectives;
• Reconnaissance et financement des pratiques d'évaluation alternatives.

L'évaluation systématique, pas toujours une menace!

Comme l'évaluation systématique est une démarche très complexe et objective, il est donc proposé de réaliser ce mandat avec l'aide de spécialistes en évaluation. Ces consultants ou consultantes sont souvent liés à des équipes de recherche embauchées par les ministères qui gèrent un projet ou un programme. Ces personnes ont le mandat d'évaluer des projets, d'élaborer l'instrumentation qui servira à la cueillette des données, de réaliser cette cueillette ainsi que d'analyser et d'interpréter les résultats. Cette approche ne permet pas aux personnes «évaluées» et aux organismes de jouer un rôle actif dans le processus d'évaluation. Les organismes participant à ces expériences d'évaluation savent pertinemment que ce contexte favorise un choc de cultures. La reconnaissance du savoir, tant pratique que théorique, n'est pas systématique de part et d'autre. D'une part, les intervenantes et les intervenants des groupes sont plutôt réticents à faire évaluer leur pratique et les populations rejointes, méfiantes à témoigner de leurs réalités les plus intimes à des tierces personnes; les processus d'évaluation sont donc souvent perçus comme une menace aux relations de confiance établies entre les personnes travaillant dans les groupes et les membres participant aux activités. D'autre part, les spécialistes en évaluation font preuve de peu d'ouverture quant à une adaptation possible des approches et d'une méthodologie qui iraient dans le sens des pratiques populaires.

Un arrimage possible!
C'est à partir de cette analyse et de ces constats que nous nous sommes penchés sur ces problèmes afin de trouver des solutions alternatives en matière d'évaluation. Notre objectif était d'élaborer une pratique d'évaluation crédible et propre à notre façon de faire, en accord avec nos orientations et au service des personnes et de notre groupe. Nous avons donc tenté deux expériences d'évaluation fort enrichissantes. Ces expériences nous ont permis d'aller au-delà du choc des cultures, de travailler avec une équipe d'évaluation compétente et ouverte à nos pratiques, de développer une expertise en matière d'évaluation et de porter un regard nouveau sur l'évolution de nos pratiques.

3.2 Une approche alternative en évaluation

En accord avec l'orientation générale, les valeurs et les principes auxquels il adhère, COMSEP opte pour une «approche participative» visant l'appropriation (empowerment) de la démarche par les personnes participantes. Voici en quelques mots une définition de cette approche d'évaluation, tirée d'un document produit par Louise Gaudreau et Nicole Lacelle en 1999:

L'approche participative

«De manière générale, disons d'abord qu'en évaluation participative, ce sont des personnes liées à l'organisme qui fait l'évaluation qui fournissent l'information pour la faire. Ces mêmes personnes (qui sont aux différents paliers de l'organisme, du personnel aux usagers et usager es ) produisent la démarche d'évaluation et sont aussi les sources des données recueillies par l'évaluation. On peut donc parler d'une participation sur deux plans: en tant que producteurs de l'évaluation et en tant que sources d'information.»

«L'évaluation visant l'appropriation est donc définie comme l'utilisation des concepts et des méthodes de l'évaluation en vue d'aider les personnes à s'aider elles-mêmes. Elle vise à favoriser le développement et l'autonomie plutôt que la dépendance.» (Fetterman, Kafrarian et Wandersman, 1996). Des auteurs suggèrent d'accroître la participation à l'évaluation des différents acteurs concernés afin d'améliorer l'utilisation ultérieure des résultats de l'évaluation, de représenter les valeurs et les intérêts de tous les groupes impliqués dans le processus de décision et de promouvoir l'appropriation (empowerment) chez les groupes sans voix et sans pouvoir (Mark et Shotland, 1985; Patton, 1986).⁶ Par ailleurs, Withmore (1991) souligne que la participation à une évaluation participative comporte des avantages personnels, entre autres:

1. une perception d'une plus grande efficacité personnelle et d'une plus grande confiance en soi;
2. l'acquisition d'habiletés et de connaissances concernant le programme et l'évaluation;
3. une perception d'un plus grand contrôle personnel sur les circonstances et les événements de sa vie lorsqu'une action collective est entreprise pour améliorer le programme et le rendre plus conforme aux besoins des personnes concernées.

Enfin, il ressort que deux aspects doivent être considérés lors de l'implantation d'une approche d'évaluation participative:

• les acteurs qui participeront à la démarche;
• la nature de la participation de chacun des acteurs.

En l'occurrence, le choix de COMSEP d'une approche d'évaluation participative vise spécifiquement à accroître l'appropriation, par toutes les personnes participantes, de la démarche d'évaluation.⁷

«En produisant l'évaluation, les gens deviennent concepteurs ou faiseurs de l'évaluation. Ils contribuent à divers degrés à préparer l'évaluation, à produire le projet d'évaluation écrit, à planifier d'autres aspects de l'évaluation, à négocier et à réaliser les opérations nécessaires à la bonne marche de l'évaluation.»⁸

L'implication des personnes

Bien sûr, toutes les personnes engagées dans le processus ne participent pas au même degré. Un certain nombre de personnes seront actives à toutes les étapes alors que d'autres choisiront de collaborer sur le plan des orientations, des choix méthodologiques ou encore de la collecte de données. La participation des personnes dépendra:

• de l'intérêt de la personne;
• du type de tâches à réaliser;
• de la disponibilité des personnes;
• de leurs capacités et de leurs limites;
• de leur expérience personnelle;
• des mécanismes d'accompagnement mis en place par l'organisme pour favoriser la participation;
• des efforts mis en place pour vulgariser la démarche et la méthodologie.

Quelques principes guides

Ces principes directeurs permettent d'expliquer le choix d'une telle pratique d'évaluation, guident l'action et facilitent la démarche.

1. Inclure toutes les personnes concernées par la démarche, à savoir les personnes qui participent aux activités ou en bénéficient, les animatrices et les animateurs, les professionnels et le personnel administratif (coordination), les personnes contractuelles s'il y a lieu;
2. Mettre en place un comité d'évaluation composé de représentants (hommes et femmes) des différents groupes concernés (équipe de travail, membres, personnes participantes, bénévoles, personnes-ressources, etc.). Ce comité a la responsabilité de concevoir et de réaliser la démarche et le mandat de prendre les décisions reliées au processus d'évaluation;
3. Favoriser la participation active et soutenue des membres du comité d'évaluation en tenant compte des intérêts, des compétences et des habiletés de chaque personne en ce qui a trait à leur participation individuelle;
4. Soutenir la motivation des personnes qui veulent participer en tenant compte, dans la planification des rencontres et des étapes de travail, de la réalité de ces personnes telles les responsabilités familiales ou les limites en lecture et en écriture;
5. S'assurer que l'information circule bien entre les comités de travail et les membres concernés par le processus d'évaluation;
6. Soutenir et accompagner les personnes tout au long de la démarche en mettant en place différents moyens tels des rencontres préparatoires, des documents vulgarisés, du matériel d'accompagnement, un suivi ponctuel, etc.

Les limites d'une approche participative

L'évaluation participative a donc l'avantage de donner du pouvoir aux membres de l'organisme, qu'ils soient bénévoles, travailleurs ou travailleuses, participants et participantes aux diverses activités, mais cette approche a aussi des limites:

Le temps, les coûts
Une première limite a trait au temps requis par une telle démarche qui se veut respectueuse du rythme et de l'évolution des personnes. Cette réalité se traduit par des coûts additionnels et exige du groupe communautaire de fournir, à même ses propres ressources, une contribution financière substantielle. Réaliser une démarche d'évaluation avec des personnes peu alphabétisées augmente considérablement le temps alloué à chacune des étapes. Les phases préparatoires, les périodes consacrées à la vulgarisation, le temps de discussion pour établir des consensus afin de déterminer des objets, des indicateurs, etc., toutes ces étapes sont longues et laborieuses. Tout ce processus exige donc plus de ressources.

L'appropriation de la méthodologie
L'approche participative ne sacrifie pas pour autant la rigueur que requiert la réalisation d'une évaluation. Elle appliquera les méthodes scientifiques reconnues et visera, le plus possible, à rassembler des données fiables et valides. Vu la complexité d'un tel processus, il est plus difficile pour des personnes peu scolarisées ou analphabètes de se l'approprier.

La possibilité de biais
Comme les personnes qui sont évaluées sont aussi celles qui évaluent, il est nécessaire d'être très vigilant sur la question de l'objectivité. Ce n'est pas toujours simple d'avoir un recul sur soi-même ou sur sa pratique, et cet effort exige beaucoup d'honnêteté et de rigueur. La présence d'une personne consultante aide à réduire les possibilités de biais, car cette personne remet en question, avec le groupe, les choix tout au long du processus et de l'analyse des résultats. Son regard extérieur peut aider à prendre le recul nécessaire.

4. Notre expérience pratique

4.1 La Mesure alphabétisation et implication sociale

Cette évaluation a été réalisée en 1997 avec la participation de quatre autres groupes populaires en alphabétisation de notre région, soit le Centre d'éducation populaire de Pointe-du-Lac, Ludolettre de St-Léonard d'Aston, le groupe EBYÔN de Cap-de-la-Madeleine et la CLÉ en éducation populaire de Maskinongé. Cent personnes ont participé à cette évaluation qui s'est échelonnée sur toute une année.

Un projet pilote
L'évaluation s'est effectuée dans le cadre d'un projet pilote d'une durée de deux ans, de septembre 95 à juin 97. L'entente conclue entre les groupes populaires et le ministère de la Sécurité du revenu du Québec définissait les différentes modalités d'application du projet et prévoyait l'évaluation de l'efficacité du projet et de l'atteinte des objectifs. Les résultats de cette évaluation permettaient de dégager des recommandations, favorables ou non, relativement à l'avenir du projet ainsi qu'à son déploiement au niveau provincial.

Le projet
Le projet «Alphabétisation et implication sociale» s'adresse aux prestataires de la Sécurité du revenu et prévoit leur participation à des activités d'alphabétisation et à des activités complémentaires visant à favoriser leur intégration sociocommunautaire. L'objectif du programme est d'améliorer les compétences de base et de favoriser une meilleure intégration sociale des personnes participantes par le biais d'activités d'alphabétisation et de participation à des activités utiles socialement. Le projet s'articule autour de deux grands volets, soit le volet alphabétisation et le volet implication sociale.

Le volet alphabétisation
Le volet alphabétisation comprend trois types d'activités complémentaires: des ateliers d'alphabétisation sur le calcul, la lecture et l'écriture; des ateliers thématiques élaborés à partir des intérêts des personnes et des ateliers d'alphabétisation-conscientisation portant sur des problématiques sociales et visant des démarches de prise en charge.

Le volet implication sociale
Le volet implication sociale prévoit des activités de nature variée, selon les ressources et les organismes qui les dispensent. Les activités se regroupent en cinq catégories:

1. les activités permettant le développement personnel des personnes et leur capacité à résoudre des problèmes individuels (désintoxication, thérapie, groupe de parole, etc.);
2. les activités permettant le développement de la citoyenneté (consultation populaire, dépôt de mémoire, assemblée publique, etc.);
3. les activités favorisant la participation à la vie associative (conseil d'administration, assemblée générale, comité de travail, etc.);
4. les activités permettant le développement de la prise en charge individuelle;
5. les activités permettant le développement de l'employabilité des personnes (plateaux de travail, conciergerie, tablée populaire, formation en lien avec le marché du travail, etc.).

L'évaluation

L'objectif de l'évaluation
L'objectif de l'étude évaluative était d'obtenir les informations liées au fonctionnement du projet, à l'atteinte des objectifs du programme et de son impact sur les personnes ainsi que d'apprécier la collaboration entre les parties, soit les groupes, les personnes participantes et le ministère concerné.

L'approche retenue
En ce qui a trait à l'orientation, le comité de travail a opté pour une démarche axée sur la participation, tout au long du projet, de tous les groupes représentés. Les cinq groupes ont donc participé à toutes les étapes du processus d'évaluation. Ils se sont approprié la démarche en se faisant maîtres d'œuvre de toutes les phases du processus d'évaluation. En raison du temps limité dont nous disposions, nous n'avons pas exploité l'approche participative à son maximum: les personnes concernées, soit les personnes analphabètes, n'ont participé qu'à certaines étapes du processus dont la cueillette des données et l'analyse des résultats.

Cependant, nous avons opté, tout au long de la démarche, pour la consultation, l'information, la transparence et le consentement des personnes.

Le comité de travail
Le comité de travail était composé de représentants des groupes populaires (hommes et femmes) et de trois contractuelles dont une consultante en évaluation, une ressource du milieu communautaire (le Centre de Formation populaire de Montréal ) et une chargée de projet. Elles avaient le mandat de planifier et de réaliser l'évaluation.

Les objets d'évaluation retenus par le comité

1. la participation au volet éducatif et au volet implication sociale;
2. l'acquisition des apprentissages durant la participation au projet;
3. l'impact au plan personnel de la participation à des activités socialement utiles;
4. la satisfaction des personnes participantes;
5. la collaboration entre les parties relativement à la gestion du projet et aux communications.

Le fonctionnement du comité
Le comité de travail avait donc le mandat de concevoir l'instrumentation, de proposer des méthodes de travail, d'élaborer les outils de collecte de données ainsi que les modalités de cueillette. Il était aussi chargé de la distribution des tâches à réaliser en accord avec les groupes et du suivi des activités d'évaluation auprès des groupes. Le comité a fonctionné par consensus tout au long de la démarche, car les groupes concernés par l'évaluation avaient tous des réalités et des pratiques différentes. Pour atteindre les buts visés par l'évaluation, il était nécessaire d'élaborer une démarche, des outils et des moyens qui fassent l'unité dans la diversité.

Des rencontres périodiques étaient prévues avec les animateurs et les animatrices des groupes afin d'informer et de former les personnes sur la méthodologie et le processus d'évaluation.

La rédaction du rapport d'évaluation a été confiée à deux personnes du comité d'évaluation. Toutefois, la version finale du rapport, l'analyse et la discussion des résultats ainsi que la formulation des recommandations sont l'œuvre collective des membres du comité.

L'accompagnement
Dans le cas de cette évaluation, l'accompagnement était assuré par un groupe-ressource, le Centre de formation professionnelle (CFP), dont le rôle consistait à former les groupes de base et à les guider tout au long du processus d'évaluation. L'accompagnement s'est fait tant au plan idéologique qu'aux niveaux technique et méthodologique. Les organismes ont également profité de l'expérience de la consultante tout au long de la démarche et de l'expertise du CFP en matière de négociation afin de faire valoir le processus d'évaluation.

La place des personnes participantes

• des personnes consentantes;
• des personnes informées et consultées;
• des personnes qui ont participé à l'analyse des résultats.

D'abord, il est important de mentionner que toutes les personnes ayant participé à cette évaluation ont signé une feuille de consentement. Les personnes ont été informées et ont eu la possibilité de discuter des raisons et des enjeux de cette évaluation avant de donner leur accord. Elles ont participé, individuellement et collectivement, à la collecte des données et à l'analyse des résultats.

Processus d'appropriation

Les groupes engagés dans le projet avaient tous une préoccupation commune, celle de se reconnaître à travers ce projet d'évaluation. Chaque groupe avait déjà sa propre culture, ses propres pratiques ainsi que son propre cheminement en regard des expériences d'évaluation. Pour bien s'approprier la démarche et faire en sorte que chaque groupe y trouve l'intérêt et la motivation nécessaires pour participer, nous avons mis en place quelques moyens:

• une formation sur l'évaluation et la méthodologie;
• du temps de réflexion et d'échange sur notre perception de l'évaluation, de nos pratiques, des enjeux et du choix de l'approche;
• une collecte de tous les outils déjà existants dans les organismes afin de construire des instruments à partir de l'expérience des groupes;
• une ressource experte en évaluation;
• une ressource assurant l'accompagnement et le suivi des organismes durant la démarche d'évaluation (le Centre de Formation Populaire de Montréal);
• des réunions à chaque étape du processus d'évaluation: élaboration des objets, du devis, des instruments de cueillette de données, organisation de la cueillette, analyse des données, interprétation des résultats, rédaction du rapport et des recommandations;
• la création d'outils pour accompagner les personnes rejointes par l'évaluation.

Cette expérience collective a été enrichissante, et l'évaluation que les organismes en font est, somme toute, très positive. Ils en ont retiré une grande expertise, des idées pour améliorer les services, mais surtout l'expérience aura permis de démystifier l'évaluation et de considérer cet outil comme un instrument au service des groupes. Dans ce dossier, l'évaluation a démontré la pertinence du programme, et les résultats ont permis de convaincre le ministère du bien-fondé de ce programme pour éventuellement l'élargir à toutes les régions.

4.2 Programmes sur les compétences parentales

Cette évaluation est réalisée à COMSEP avec la participation des membres du comité de soutien aux familles monoparentales (APPUI), du groupe de parole «Être mère, être femme» et du Collectif d'hommes et de pères. Elle a débuté en 1997 et se continue depuis ce temps. Les activités d'évaluation sont intégrées dans la programmation des activités régulières des comités. Ces activités sont soutenues financièrement par le Programme d'action communautaire à l'enfance (PACE), géré conjointement par le gouvernement fédéral et le ministère de la Santé et des Services sociaux du Québec. Ce programme propose de consacrer à l'évaluation du programme un pourcentage des sommes attribuées.

Le programme
Le programme vise le développement et la consolidation d'habiletés parentales chez les parents à faible revenu, mères et pères. Le programme regroupe, dans un premier volet, les mères monoparentales ou biparentales avec leurs enfants et, dans un second volet, les pères et les hommes qui sont en contact avec des enfants dans leur environnement.

Le volet des mères
Le comité APPUI offre aux mères différentes activités leur permettant de briser l'isolement, d'échanger entre elles et d'avoir accès à certaines ressources par le biais de cafés-rencontres, de journées de formation, d'accompagnement et de soutien personnel. Les mères se rencontrent une fois par mois le vendredi soir. Elles prennent un repas ensemble, puis participent à une rencontre thématique qu'elles ont choisie en début d'année. Les mères peuvent amener leurs enfants: une animatrice sur place s'occupe de les divertir et c'est une occasion pour les enfants de rencontrer d'autres enfants.

Le groupe de parole «Être mère, être femme» regroupe des mères qui veulent échanger sur leur réalité de mère et de femme. Elles se rencontrent aux deux semaines pendant trois heures et discutent de leurs préoccupations, des difficultés qu'elles vivent et des solutions qu'elles trouvent collectivement pour changer leur situation.

Le volet des pères
Le Collectif hommes regroupe des hommes et des pères à faible revenu qui désirent échanger sur leur réalité et sur leurs conditions. Des rencontres-échanges, des conférences, des formations dispensées par des personnes-ressources sont organisées aux deux semaines. Ces activités permettent aux hommes de briser leur isolement, de partager leur réalité et leurs difficultés et de trouver des solutions pour améliorer leur situation. La préoccupation des relations hommes-femmes et des relations parentales permet aux membres de cheminer dans une perspective féministe.

L'évaluation

L'objectif de l'évaluation
La démarche d'évaluation est mise en place afin de rendre compte du déroulement et du fonctionnement du projet ainsi que de vérifier l'atteinte des objectifs du programme et de ses effets à court terme sur les personnes participantes. Les résultats de l'évaluation permettront d'obtenir les renseignements nécessaires pour améliorer le programme, si nécessaire.

Le comité de travail
En concordance avec l'approche d'évaluation retenue, le comité est composé de représentants (hommes et femmes) des différentes activités. Ainsi, quatre parents représentant les deux volets d'activités font partie du comité. S'ajoutent à cette délégation, deux personnes responsables de l'animation du Collectif hommes et des groupes de mères, la coordonnatrice de l'organisme, deux personnes-ressources en évaluation ainsi qu'une contractuelle pour réaliser certaines étapes de la démarche d'évaluation.

L'approche retenue
En ce qui a trait à l'orientation, le comité de travail a opté pour une démarche d'évaluation participative: les personnes ont donc participé à toutes étapes du processus d'évaluation, de la définition de l'objet d'évaluation à la rédaction du rapport. En concordance avec les orientations et les objectifs de COMSEP, le comité d'évaluation souhaitait que l'évaluation soit un processus favorisant l'apprentissage et l'appropriation. À cet égard, le comité a souhaité intégrer les activités évaluatives aux activités régulières des familles parce qu'il considérait qu'elles favorisaient fortement la prise de pouvoir et qu'elles constituaient un bon moyen d'apprentissage. En effet, les activités liées à l'évaluation participative incitent les personnes à prendre part aux décisions qui les concernent, à s'investir personnellement dans le processus, à négocier et à faire valoir leurs idées en groupe. Tout au long de la démarche d'évaluation, les personnes doivent faire des choix et les justifier, donner leur opinion sur les instruments, les moyens et les résultats. C'est finalement un processus très pédagogique.

Les objets d'évaluation retenus par le comité

Pour le volet des mères:

1. améliorer et consolider les habiletés parentales des mères;
2. accroître leur bien-être psychologique;
3. améliorer les conditions de vie des familles monoparentales;
4. les conscientiser sur leur rôle de femme dans la société et sur les revendications des femmes;
5. favoriser la socialisation des enfants.

Pour le volet des pères:

1. améliorer les habiletés parentales des pères;
2. accroître leur bien-être psychologique;
3. développer la responsabilité personnelle des pères.

Le fonctionnement du comité
Le comité se rencontre aussi souvent que l'exige le processus. On peut cependant prévoir en moyenne une rencontre aux deux ou trois mois, à l'exception de la première année. La mise en place de l'évaluation participative demandera une série de rencontres intensives au début du processus, jusqu'à ce que le devis soit complété. Le comité d'évaluation encadre la démarche et propose un plan d'action.

Outre le comité d'évaluation, plusieurs autres membres participant aux activités sont mis à contribution tout au long du processus; ces personnes regroupées en petit comité de travail ont le mandat de préciser les objectifs évalués, les indicateurs et les outils de collecte de données et à valider la démarche d'évaluation.

La place des personnes participantes

• des personnes consentantes;
• des personnes formées et accompagnées;
• des personnes qui ont participé à toutes les étapes du processus.

D'abord, il est important de mentionner que toutes les personnes qui ont participé à cette évaluation ont signé une feuille de consentement et, à tout moment, pouvaient se retirer du processus. Les personnes ont été informées et ont eu la possibilité de discuter des raisons et des enjeux de cette démarche avant de donner leur accord. Elles ont participé, individuellement et collectivement, à toutes les étapes du processus d'évaluation: choix de l'approche et définition des questions, des objets d'évaluation, des indicateurs et des outils de cueillette de données, participation à la cueillette ainsi qu'à l'analyse des résultats d'évaluation.

La préparation des personnes
C'est un volet important qui se réalise en deux grandes étapes. La première est d'ordre idéologique: pourquoi on fait les choses. Les personnes doivent connaître les enjeux, les exigences, les attentes, les étapes à réaliser, le travail à faire, les conséquences, etc.; elles doivent pouvoir exprimer leurs interrogations, leur insécurité et leur limites. La deuxième étape est d'ordre technique: comment on fait les choses. Expliquer la méthodologie d'une évaluation à des personnes peu alphabétisées représente un défi de taille, car le niveau de langage et la procédure sont complexes. Un énorme travail de vulgarisation et de nombreux exercices de formulation s'imposent, surtout pour les étapes de définition des objectifs et des indicateurs.

L'accompagnement
L'accompagnement est donc nécessaire afin de faire en sorte que les personnes vivent des réussites plutôt que des échecs. Il se concrétise par le biais de plusieurs moyens: outils pédagogiques, discussions de préparation pour certaines étapes, rythme de travail adapté aux personnes lors des comités de travail et lors des rencontres du comité d'évaluation en plus de séances de formation avant et pendant le processus d'évaluation.

D'ailleurs, notre organisme a réalisé un document intitulé «Le cahier du participant et de la participante», s'adressant à des personnes peu familières avec les pratiques d'évaluation. Ce document est un outil pédagogique expliquant, dans un langage simplifié, la nature d'une évaluation et le vocabulaire spécifique qui s'y rattache. Le document est aussi un outil de travail qui peut accompagner la personne tout au long d'une démarche d'évaluation. Les animateurs et les animatrices peuvent également se servir de cet ouvrage comme outil d'accompagnement.

Le suivi de la démarche auprès des personnes
Faire en sorte que les personnes concernées ne soient jamais laissées dans le vide, les informer des résultats, des démarches effectuées et des changements constituent une étape importante qu'il ne faut jamais omettre. Ce suivi favorise la participation des personnes tout au long du processus d'évaluation.

Processus d'appropriation

En ce qui concerne notre deuxième expérience, toujours en cours, sur l'évaluation des activités réalisées auprès des familles, nous sommes allés beaucoup plus loin avec l'approche participative. Dans cette démarche, nous avons davantage misé sur le processus que sur les résultats. Il était important que nous développions, collectivement, notre capacité à prendre en charge toutes les étapes du processus d'évaluation et surtout que les personnes participant aux activités soient partie prenante à toutes les étapes. Pour ce faire, nous avons mis beaucoup d'énergie à déployer des moyens pour atteindre notre objectif.

Des moyens pour s'approprier la démarche:

• un comité permanent d'évaluation dès le début de l'évaluation;
• de la formation à toutes les étapes du processus en fonction des responsabilités liées à chaque rôle;
• la tenue d'un journal de bord;
• l'intégration des activités d'évaluation aux activités régulières;
• une ressource de soutien pour le comité d'évaluation et une autre pour les comités de travail tout au long de la démarche.

Cette démarche est en cours depuis deux ans et nous pouvons constater l'énorme progrès en ce qui concerne l'autonomie des personnes. Dans le processus d'évaluation, on prévoyait évaluer la démarche (fonctionnement des comités, apprentissages réalisés, satisfaction obtenue à réaliser cette démarche); les résultats démontrent une prise en charge de plus en plus grande des personnes dans le processus et dans la démarche. Les résultats de l'évaluation révèlent un cheminement plutôt positif tant pour l'équipe d'animation, en termes de pratique d'intervention, que pour les personnes participantes dans leur rapport à l'évaluation. En effet, l'évaluation a permis de structurer davantage l'intervention en regard des objectifs à atteindre, sans pour autant nier l'approche préconisée par l'organisme. Du point de vue des personnes participantes, l'activité d'évaluation demeure une démarche plutôt intellectuelle. C'est pourquoi le processus en soi est très important et on doit le considérer comme un espace nouveau de prise de parole, de démocratie et d'appropriation. Toujours du point de vue des personnes participantes, il ressort que ces dernières ont apprivoisé graduellement le processus d'évaluation et, tout au long de la démarche, leur rapport à l'évaluation s'est transformé, passant de la méfiance à l'ouverture. De plus, il semble que pour les participantes du comité de soutien aux familles monoparentales, l'évaluation aura permis de développer une plus grande prise en charge dans le choix de leurs activités et des thèmes qu'elles abordent. Ce résultat est plus frappant chez les femmes que chez les hommes. Nous constatons que les femmes ont fait preuve d'une plus grande facilité à transférer les apprentissages acquis dans la démarche d'évaluation à d'autres aspects de leur participation.

Nous soulignons également, comme élément important d'appropriation, la présentation de notre démarche d'évaluation participative par les mères et les pères à l'université Concordia, lors de leur programme d'université d'été. Être capable de transférer ses acquis en faisant une présentation devant un groupe démontre bien le haut niveau d'intégration de la démarche et du processus d'évaluation par les personnes concernées. Le journal de bord⁹ que nous avons produit tout au long de la démarche indique plusieurs autres résultats positifs liés au processus d'appropriation et ce, à toutes les étapes du processus d'évaluation.

5. Conclusion

Dans un contexte politique où nous serons de plus en plus contraints à évaluer nos pratiques, nous croyons qu'il est nécessaire d'imposer notre vision des choses en négociant des pratiques d'évaluation participative. Ce type d'évaluation revitalise des espaces de citoyenneté dans nos organismes. Ces pratiques favorisent la prise de parole, la prise en charge et la participation des personnes. Elles contribuent à créer de nouveaux espaces pour faire de l'éducation populaire. Les expériences que nous avons menées, entre autres avec les mères et les pères, nous ont conduits vers des démarches de prise en charge inattendues et fort profitables pour les personnes. Ne serait-ce que pour cet aspect, l'expérience en vaut le coût.

Sans dénaturer nos orientations et nos pratiques, les démarches d'évaluation que nous avons expérimentées ont eu un certain impact sur nos activités. Les résultats ont permis de démontrer les éléments à renforcer ou à modifier dans nos façons de faire et d'intervenir. Les démarches d'évaluation ont donc contribué à alimenter des plans d'actions dans différents comités, en plus de permettre de développer un autre champ d'expertise fort utile et transférable dans plusieurs situations quotidiennes de notre travail.

En conclusion, nous espérons que ce document vous aura permis d'avoir un autre regard en matière d'évaluation et vous aura inspiré de nouvelles pistes d'action et de nouveaux défis à expérimenter avec les personnes analphabètes.

6. Autres productions du COMSEP

Pratiques d'évaluation

• «Journal de bord: notes sur la vie d'une démarche d'évaluation participative», mars 2000
• «Cahier du participant et de la participante: évaluation participative», juin 2000

Pratiques d'alphabétisation-conscientisation: démarches pédagogiques

• «Pouvoir de, pouvoir sur...» (document sur l'apprentissage de la démocratie)
• «Démocratie: Droits ou privilèges» (démarche électorale)
• «L'aide sociale: Droits ou responsabilité collective»
• «Les médias: l'envers de la médaille»
• «Femmes: dévictimisation et alphabétisation»
• «Alimentation santé-gorgée» (appropriation du guide alimentaire avec un faible revenu )
• «Théâtre populaire et alphabétisation»

Pratique d'alphabétisation thématique

• «Le tabagisme»

Autres productions

• «Alphabétisation et implication sociale: se développer dans l'action»
• «Alphabétisation et implication sociale: document de référence pour l'implantation du programme»

Crédits

Coordination du projet
Sylvie Tardif

Rédaction et mise en page du document
Lise St-Germain

Comité de lecture
Lucie Massicotte
Christian Daignault
Lise Cormier
Sylvie Tardif

Révision linguistique
Claire Cousineau

Trois-Rivières Juin 2000

La production de ce document a été rendue possible grâce à la participation financière des Initiatives Fédérales Provinciales Concertées en Alphabétisation (IFPCA).