Évaluation du programme de financement communautaire ÉcoAction

Mai 2009

| TdesM | Suivant |


SOMMAIRE

La Direction générale de la vérification et de l’évaluation d’Environnement Canada (EC) a effectué une évaluation du Programme de financement communautaire ÉcoAction. Cette évaluation s’inscrit dans le Plan d’évaluation et de vérification ministériel approuvé en avril 2008 et elle a été menée en réponse à une exigence préalable au renouvellement du programme. Elle porte surtout sur les exercices de 2004-2005 jusqu’à 2008-2009. On tentera de renouveler les modalités et conditions du programme ÉcoAction au printemps 2010-2011. 

Le programme ÉcoAction vise à appuyer des projets communautaires dirigés par des organismes sans but lucratif qui sont censés entraîner des retombées mesurables et positives pour l’environnement. Même s’il s’agit d’un programme d’envergure nationale, il est géré au niveau des régions par un réseau de bureaux d’Environnement Canada disséminés partout au Canada. L’objectif est de soutenir les projets des clients du programme ÉcoAction tout au long du processus de demande de financement et de surveiller de près les projets financés. 

Les projets admissibles peuvent recevoir un financement pouvant atteindre jusqu’à 100 000 $ par projet, ce qui, par définition, fait du programme ÉcoAction un bailleur de fond pour les petits projets (le financement moyen s’élève environ à 25 000 $ par projet). Pour obtenir un soutien financier, les demandeurs doivent rassembler au moins 50 % de la valeur totale du projet auprès de sources autres que le gouvernement fédéral. La durée maximale de l’aide financière accordée à un projet  est de deux ans, et l’on encourage les projets dont la conception favorisera l’autonomie au terme de cette période. 

Les objectifs du programme ÉcoAction sont les suivants :

  1. Aider les groupes communautaires à atteindre des résultats environnementaux qui s’inscrivent dans les priorités du Ministère en matière de réduction des risques pour la santé et l’environnement;
  2. Obtenir des fonds de contrepartie, sous forme financière et non financière, de sources autres que le gouvernement fédéral pour des activités environnementales débouchant sur des résultats bénéfiques quantifiables pour l’environnement;
  3. Offrir aux Canadiens les outils nécessaires pour qu’ils puissent mettre leurs connaissances et leurs valeurs en tant qu’individus et membres de collectivités au service du développement durable.

Les projets financés doivent avoir des résultats positifs voulus sur l’environnement dans l’un des quatre secteurs prioritaires du programme ÉcoAction : qualité de l’air, changements climatiques, qualité de l’eau et milieu naturel.

QUESTIONS D’ÉVALUATION

L’Évaluation du Programme de financement communautaire ÉcoAction portait sur la pertinence, le succès et le rapport coût-efficacité, et, dans une moindre mesure, elle revoyait la conception et la prestation du programme ÉcoAction. L’évaluation a été conçue pour déterminer si le programme :

MÉTHODOLOGIE

Plusieurs sources de données ont été utilisées pour rassembler les données nécessaires à l’évaluation. Ces sources comprenaient une étude des documents et des dossiers, l’analyse des données secondaires enregistrées dans le Système d’information de gestion (SIG), l’analyse des résultats obtenus lors du sondage effectué auprès de la clientèle en 2008 (n = 126), 18 entrevues d’informateurs-clés effectuées auprès du personnel et des intervenants et un sondage auprès des demandeurs qui se sont vu refuser du financement (n = 154). En dépit des avantages liés à l’utilisation de plusieurs sources de données, des problèmes et des limites ont été rencontrés, notamment des difficultés au niveau de l’attribution des résultats au programme ÉcoAction et des incohérences dans les données du SIG.

ÉVALUATION DES RÉSULTATS

Dans l’ensemble, les résultats de l’évaluation indiquent que le programme ÉcoAction est un soutien important pour les projets communautaires en environnement. Néanmoins, les données désuètes du programme dans le SIG et le nombre de données limité pour chacun des indicateurs du programme ont fait qu’il a été difficile de montrer les résultats du programme et de déterminer l’atteinte des résultats attendus.

Voici le résumé des résultats de l’évaluation :

a) Pertinence

ÉcoAction soutient les projets communautaires enenvironnement qui répondent aux priorités d’EC, tels que la réduction des gaz à effet de serre, l’amélioration de la qualité de l’air et de l’eau et la protection des espèces et de leur habitat. Les participants aux programme ou aux projets signalent que sans le programme ÉcoAction, plusieurs projets n’auraient jamais vu le jour. Voici quelques-unes des principales conclusions de l’évaluation : 

b) Succès

Les renseignements relatifs au rendement pour les projets financés par le programme ÉcoAction devraient indiquer clairement si les résultats voulus du programme ont été atteints ou non. Toutefois, les analyses nécessaires à cette évaluation ont été limitées par la qualité des données disponibles. Ces données étaient en grande partie fondées sur les opinions du personnel et des clients du programme ÉcoAction, elles n’étaient pas souvent quantifiées par rapport à des résultats environnementaux et elles n’étaient pas validées. Voici les principales constatations :

c) Rapport coût-efficacité

Il a été difficile d’évaluer l’efficacité par rapport aux coûts du programme ÉcoAction parce qu’il a été difficile de déterminer les dépenses de programme exactes (dépenses de fonctionnement et salaires) et en raison des limites dans la mesure des résultats obtenus. Par conséquent, l’évaluation de l’efficacité par rapport aux coûts a été effectuée de façon indirecte en évaluant l’efficience du programme ÉcoAction. Les résultats indiquent que des améliorations pourraient être apportées pour accroître le rapport coûtefficacité du programme ÉcoAction, même si la conception du programme nécessite des dépenses administratives élevées.

d) Conception et mise en œuvre

Il importe de signaler qu’il s’agit de l’évaluation de l’incidence qui a été réalisée en réponse à une exigence préalable au renouvellement du programme et dont la portée a été limitée à l’étude des problèmes liés à la conception ou à la mise en œuvre.

RECOMMANDATIONS

Trois recommandations ont été formulées à l’intention du Conseil de la durabilité des écosystèmes (DE) à partir des résultats obtenus lors de l’évaluation et des conclusions.

RECOMMANDATION n°1 : Il est recommandé d’améliorer les formulaires et les outils du programme afin d’en faciliter la compréhension et l’usage.
L’évaluation révèle que les clients, même s’ils se sont dits satisfaits des services reçus par le personnel du programme ÉcoAction, étaient moins satisfaits des formulaires et des outils du programme, qu’ils trouvaient moins faciles à comprendre. Plus particulièrement, les demandeurs de financement ont signalé des difficultés en ce qui concerne la navigation dans le site Web du programme ÉcoAction, la compréhension du guide de demande et des critères d’admissibilité de même que la façon de remplir le formulaire de demande. Les demandeurs qui ont reçu du financement ont aussi indiqué qu’il était difficile de remplir les formulaires servant au suivi de leurs projets. 

RECOMMANDATION n°2 : Il est recommandé d’examiner les rôles, les responsabilités et les processus afin de déterminer les possibilités de clarification et d’efficience. 
Le programme ÉcoAction, qui vise à financer des projets communautaires, accorde une grande importance au service à la clientèle, ce qui entraîne des frais administratifs élevés. Pour améliorer l’efficience globale du programme, il pourrait être utile de répertorier des pratiques exemplaires, plus particulièrement dans les régions et dans les secteurs où il serait possible de simplifier le processus de prestation. En outre, l’évaluation a révélé une certaine incertitude chez le personnel du programme quant aux rôles et responsabilités dans le processus décisionnel, tout particulièrement en ce qui a trait au rôle de l’UNC relativement aux régions. La clarification des rôles et des responsabilités à l’égard des processus décisionnels et de responsabilisation actuels permettrait d’assurer une base de compréhension commune et contribuerait à améliorer la prestation du programme. 

RECOMMANDATION n°3 : Il est recommandé d’évaluer les processus actuellement utilisés pour définir les indicateurs environnementaux des projets et pour mesurer, enregistrer et utiliser les renseignements sur le rendement, afin d’améliorer la capacité du programme à démontrer les résultats atteints. 
Il est difficile de faire un bilan complet du rendement du programme en raison des faiblesses des indicateurs de rendement et des processus de consignation de ces indicateurs. Le programme ÉcoAction utilise actuellement 56 indicateurs différents pour mesurer les résultats des projets. Les indicateurs sont trop nombreux et trop diversifiés pour aider à comprendre si les résultats attendus du programme ont été atteints. En outre, les méthodes de cueillette et d’enregistrement des données compliquent encore davantage la démonstration du rendement du programme : le SIG, le principal système de stockage de renseignements sur les projets n’est pas souvent mis à jour et des données sur les principaux éléments de projet, qui contribueraient au bilan du rendement, manquent. De surcroît, on en connaît relativement peu au sujet des projets qui se poursuivent après la période de financement du programme ÉcoAction, si ce n’est de l’information obtenue à partir des réponses à quelques questions du sondage et certaines mentions faites dans les rapports finaux présentés à la fin du projet et ce, en dépit du fait que l’un des objectifs du programme est d’encourager les organismes à mettre en place des projets durables. Toutes ces lacunes font en sorte que le programme peut difficilement démontrer les effets à long terme et les avantages du financement de projets communautaires durables.

RÉPONSE DE LA DIRECTION

Le Conseil de la DE est en accord avec ces trois recommandations.

Le Programme de financement communautaire ÉcoAction compte parmi les douze programmes d’action communautaire pour l’environnement (PACE) qu’administre Environnement Canada. À l’automne de 2007, l’initiative d’optimisation des PACE a été mise en œuvre, en réponse aux recommandations formulées par le Groupe d’experts indépendants sur les programmes de subventions et contributions, qui visaient principalement à rationaliser et à simplifier l’administration des subventions et des contributions fédérales. Bon nombre des activités déjà en cours ou en voie d’être mises en œuvre dans le cadre de l’initiative d’optimisation et du nouveau plan d’action d’Environnement Canada pour la réforme des programmes de S et C viendront appuyer le Programme de financement communautaire ÉcoAction en donnant suite aux recommandations formulées dans la présente évaluation. Plus particulièrement, ces initiatives prévoient :

Il importe de signaler que la portée et le calendrier d’exécution des engagements relatifs à l’initiative d’optimisation et au plan d’action ministériel pour la réforme des programmes de S et C sont en dehors du champ d’action du programme. 

Environnement Canada reconnaît qu’il est difficile d’accéder au site Web du programme ÉcoAction à partir de sa page d’accueil. L’adoption d’une approche à guichet unique pour le portail Web des PACE, dans le cadre de l’initiative d’optimisation, facilitera l’accès au site Web du programme ÉcoAction et mettra aussi à la disposition des demandeurs de financement des ressources et des outils communs. Quant à la difficulté de comprendre les critères d’admissibilité des projets, soulevée par les demandeurs de financement, Environnement Canada dressera une liste plus complète des activités de projet admissibles et inadmissibles, ce qui augmentera la clarté et la transparence du programme. D’importantes améliorations ont été apportées aux formulaires et aux outils du programme en 2008, en fonction de la rétroaction et des commentaires reçus des clients. Les résultats de l’évaluation, qui sont fondés sur le sondage de 2008 réalisé auprès des bénéficiaires du financement du programme ÉcoAction, ne reflètent peut-être pas avec exactitude ces améliorations puisqu’elles ont été mises en œuvre plus tard. Néanmoins, d’autres améliorations pourraient être apportées, et d’autres mesures seront prises pour faciliter l’utilisation et la compréhension du site Web d’ÉcoAction et de l’information relative au programme.

Le programme ÉcoAction est un programme de financement national dont la mise en œuvre est assurée par cinq bureaux régionaux d’Environnement Canada. L’unité nationale de coordination est située dans la région de la capitale nationale (RCN). Nous reconnaissons qu’il importe de définir plus clairement les rôles et les responsabilités des différents membres de l’équipe du programme et de clarifier les processus pour assurer l’uniformité de la mise en œuvre du programme à l’échelle nationale. L’équipe de gestion du programme et les agents de projets tiennent actuellement des téléconférences mensuelles et des groupes de travail spéciaux se réunissent afin de discuter des pratiques exemplaires et des méthodes de mise en œuvre, et afin de prendre des mesures en conséquence. Toutes les modifications aux modalités de mise en œuvre du programme sont examinées et évaluées par l’équipe de direction et, s’il y a lieu, elles sont intégrées aux lignes directrices opérationnelles du programme. 

Au cours des dernières années, les rôles et les responsabilités en matière de décision ont changé considérablement au sein du ministère. Le processus décisionnel est passé d’une structure organisationnelle traditionnelle à une structure de gestion axée sur les résultats. Cette transition a entraîné beaucoup de confusion chez le personnel et les gestionnaires du programme au cours de la période visée par la présente évaluation. Les changements apportés à la structure organisationnelle du Ministère ont entraîné un sentiment d’incertitude quant au rôle de l’unité nationale de coordination (UNC) et au gestionnaire responsable de la prise de décision. Comme le ministère retourne maintenant à la structure organisationnelle traditionnelle, le pouvoir en matière d’approbation de financement de projet a de nouveau été dévolu aux directeurs généraux régionaux (DGR). Les décisions relatives à la conception et à la gestion de programme demeurent un processus de collaboration auquel participent les régions et l’UNC. 

Le programme ÉcoAction s’intéresse à une vaste gamme de questions environnementales qui s’inscrivent dans les quatre principales priorités du Ministère soit : la qualité de l’air, la qualité de l’eau, les changements climatiques et le milieu naturel. Les projets ÉcoAction entraînent également des retombées socioéconomiques et ils permettent de développer les capacités des collectivités. Ainsi, depuis 1995, on a élaboré une liste exhaustive d’indicateurs. Environnement Canada reconnaît qu’il convient de réduire le nombre d’indicateurs figurant sur cette liste et de restreindre cette liste aux indicateurs qui sont les plus pertinents pour l’évaluation des résultats du programme et les rapports sur les priorités et le rendement du Ministère. En outre, le Système d’information de gestion du programme ÉcoAction (SIG) existe depuis 1998 et a permis au personnel de programme de saisir l’information relative aux projets, d’automatiser les processus administratifs et de produire des rapports détaillés. Cependant, nous reconnaissons qu’il existe des incohérences dans les modalités de saisie des données ainsi que de l’incertitude quant à l’élargissement éventuel de la base de données afin qu’elle puisse répondre aux pressions et besoins nouveaux. Un groupe de travail national sur le SIG a été mis sur pied pour évaluer le processus actuel de gestion des données. 

Environnement Canada s’est engagé à prendre les mesures suivantes en réponse à ces trois recommandations :

RECOMMANDATION n°1 : Il est recommandé d’améliorer les formulaires et les outils du programme afin d’en faciliter la compréhension et l’usage.

DATE 

ÉLÉMENT

Mars 2010

  • Examiner et mettre à jour le contenu et l’architecture du site Web d’ÉcoAction afin d’en faciliter la navigation et de satisfaire aux exigences en matière de normalisation des sites Internet du gouvernement du Canada;
  • Publier une liste détaillée des projets admissibles et non admissibles à l’intention des bénéficiaires éventuels de financement;
  • Participer à une analyse des processus opérationnels dans le cadre de l’initiative d’optimisation afin de répertorier les meilleures pratiques et de simplifier et normaliser les formulaires et les outils utilisés dans le cadre du programme.

Mars 2011

  • Mettre en œuvre les outils et les exigences en matière de rapports pour les projets financés, comme il est prévu dans la stratégie d’évaluation des risques des programmes de S et C du Ministère élaborée dans le cadre du plan d’action ministériel pour la réforme des programmes de S et C. 

Mars 2012

  • Adopter un système de demande en ligne et de gestion de l’information qui permettra d’améliorer le service à la clientèle et facilitera les processus de demande, de suivi et de rapport, tant pour les clients que pour le personnel de programme.

RECOMMANDATION n°2 : Il est recommandé d’examiner les rôles, les responsabilités et les processus afin de déterminer les possibilités de clarification et d’efficience. 

DATE 

ÉLÉMENT

Mars 2010

  • En se fondant sur un examen des modalités d’échange de l’information, de prise de décisions et d’approbation, définir les rôles et les responsabilités à tous les échelons du programme en ce qui concerne la prise de décision et la reddition de comptes;
  • Élaborer des normes de service et mettre à jour les lignes directrices opérationnelles afin de simplifier encore davantage le processus général de mise en œuvre.

Mars 2012

  • Adopter un système de demande en ligne et de gestion de l’information, tel qu’expliqué ci-dessus, qui contribuera également à réduire le fardeau administratif imposé aux clients et au personnel et améliorera l’efficience de la mise en œuvre du programme.

RECOMMANDATION n°3 : Il est recommandé d’évaluer les processus actuellement utilisés pour définir les indicateurs environnementaux des projets et pour mesurer, enregistrer et utiliser les données sur le rendement afin d’améliorer la capacité du programme à démontrer les résultats atteints. 

DATE 

ÉLÉMENT

Mars 2010

  • Réduire le nombre d’indicateurs de projet en choisissant les plus pertinents aux objectifs du programme et aux résultats ministériels et les harmoniser aux indicateurs compris dans le Cadre de mesures du rendement (CMR) qui accompagne l’architecture des activités de programme (AAP) 2010-2011;
  • Élaborer un guide de l’utilisateur afin d’accroître l’uniformité de la saisie des données dans le SIG du programme;
  • Offrir de la formation à tous les membres du personnel de programme sur l’utilisation du SIG.

Mars 2011

  • Mettre en place un processus de vérification pour assurer le suivi au terme des projets, afin de donner de la rétroaction sur les effets et les avantages à long terme et la durabilité des projets communautaires;
  • Intégrer dans les processus d’examen des demandes et de décision du programme ÉcoAction les leçons et les pratiques exemplaires découlant de l’examen des projets terminés.

Mars 2012

  • Fournir aux clients des outils de mesure afin de faciliter la communication des résultats. Le personnel du programme réalisera un examen des outils de mesure actuels du Ministère. Au besoin, il aura recours à l’expertise ministérielle pour élaborer les outils appropriés;
  • Effectuer un sondage auprès de la clientèle tous les quatre ans (au début du programme et entre chacune des évaluations de programme).

Personne-ressource : Gestionnaire national du programme ÉcoAction


| TdesM | Suivant |