Évaluation du programme de financement communautaire ÉcoAction

Mai 2009

| TdesM | Précédent | Suivant |


Annexe 1
Questions d’évaluation 

Conformément au plan de travail (05/11/08)

Question d’évaluation

Indicateurs

Sources de données

PERTINENCE : Est-ce que le programme demeure conforme aux priorités du gouvernement fédéral, contribue à leur atteinte et répond à des besoins réels?

1. Le gouvernement joue-t-il un rôle légitime et nécessaire dans ce secteur ou cette activité de programme?

  • Démonstration que le mandat cadre avec le besoin d’offrir un bien collectif
  • Intervention de l’ordre approprié de gouvernement
  • Courtiers de relations inter/intragouvernementales (gouvernements F/P/T et Premières nations)
  • Preuve d’harmonie avec les priorités du gouvernement du Canada
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser du financement

2. Le programme est-il lié à des besoins sociétaux/environnementaux? Dans quelle mesure le programme ÉcoAction permet-il de répondre à ces besoins?

  • Démonstration de l’utilité ou du bien-fondé du programme 
  • Il existerait des écarts dans la couverture
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser le financement
  • Analyse des données du SIG

SUCCÈS : Le programme a-t-il atteint les résultats visés?

3. Dans quelle mesure le programme ÉcoAction rejoint-il les groupes cibles Quels sont les facteurs qui ont aidé ou empêché le programme de joindre ses groupes cibles?

  • La portée est analysée et ciblée, et la portée et les activités sont liées aux exigences sociétales/environnementales
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser le financement
  • Analyse des données du SIG

4. Dans quelle mesure le programme a-t-il progressé vers à l’atteinte des résultats immédiats indiqués dans le modèle logique? Quels ont été les obstacles à la réussite?

  • Mesure dans laquelle ces résultats auraient ou n’auraient pas été obtenus sans le programme ÉcoAction
  • Mesure dans laquelle des obstacles/facteurs ont empêché le programme de connaître du succès
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser le financement
  • Analyse des données du SIG
  • Les collectivités prennent des mesures pour réduire les émissions de GES et pour régler d’autres problèmes prioritaires pour l’environnement local
  • Nombre, taille, emplacement géographique des collectivités où sont exécutés des projets financés
  • Capacité et habiletés accrues des collectivités d’agir par rapport aux enjeux prioritaires pour l’environnement
  • Autoévaluation des collectivités par rapport au développement des capacités
  • Nombre de personnes-années de travail bénévole
  • Pourcentage des répondants en accord avec l’énoncé « Mon plus récent projet ÉcoAction a contribué à accroître la capacité de mon organisation d’exécuter des programmes environnementaux dans la collectivité » (Q25e).
  • Accès accru à de l’information pour les bénéficiaires et les promoteurs
  • Perceptions des demandeurs ayant reçu du financement et des partenaires par rapport à l’accessibilité des formulaires et des outils
  • Échange de connaissance accru entre le personnel d’ÉcoAction, les bénéficiaires de financement et leurs collectivités
  • Pourcentage des répondants en accord avec l’énoncé « Mon plus récent projet ÉcoAction a contribué à l’échange d’information et de connaissances au sein de ma collectivité » (Q25d).
  • Amélioration du réseautage, établissement de partenariats entre les collectivités et d’autres secteurs
  • Valeur de l’appui non financier
  • Valeur du financement de contrepartie
  • Nombre et type de promoteurs officiellement engagés
  • Perception des bénéficiaires à l’égard des partenariats (type d’organisation et comment elle contribue au projet)

5. Dans quelle mesure le programme a-t-il progressé vers l’atteinte des résultats intermédiaires indiqués dans son modèle logique? Quels ont été les obstacles à cette réussite?

  • Mesure dans laquelle ces résultats sont attribuables au programme
  • Mesure dans laquelle des obstacles/facteurs ont empêché le programme de connaître du succès
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser le financement
  • Analyse des données du SIG
  • Augmentation des connaissances et des habiletés au sein des collectivités et chez les individus par rapport à la préservation et à la protection de l’environnement
  • Pourcentage des répondants en accord avec l’énoncé « Mon plus récent projet ÉcoAction a contribué à améliorer les connaissances et les habiletés dans ma collectivité par rapport à la préservation et à la protection de l’environnement » (Q25c).
  • Amélioration des capacités, connaissances et habiletés communautaires par rapport à l’établissement et au maintien de projets dans l’avenir
  • Pourcentage des projets ayant reçu du financement qui se poursuivent au terme de la période de financement et degré du maintien 
  • Niveau et nature des partenariats soutenus 
  • Motifs d’abandon des projets
  • Indicateurs soci-économiques du SIG
  • Les groupes communautaires obtiennent des résultats mesurables par rapport à la protection, à la réhabilitation ou à l’amélioration de l’environnement naturel

S.O. : À mesurer par l’entremise d’autres résultats énumérés ci-dessous (c.-à-d., réduction des émissions qui contribuent à d’autres problèmes liés à la qualité de l’air (p. ex., smog), réduction et abandon de l’utilisation des matières dangereuses qui compromettent la qualité de l’eau, nuisent à la protection de la faune et de la flore et à la protection et à l’amélioration de leur habitat)

  • Réduction des émissions qui contribuent au changement climatique par une sensibilisation et une participation accrue des Canadiens au Défi d’une tonne

S.O. : Le Défi d’une tonne a été aboli en 2007

  • Réduction des émissions qui contribuent à d’autres problèmes liés à la qualité de l’air (p. ex., smog)
  • Indicateurs « Salubrité de l’air » et « Changement climatique » dans le SIG
  • Évolution au fil du temps
  • Réduction et abandon de l’utilisation des matières dangereuses qui affectent la qualité de l’eau
  • Indicateurs « Propreté de l’eau » dans le SIG
  • Évolution au fil du temps
  • Protection de la faune et de la flore et protection et amélioration de leur habitat.
  • Indicateurs « Conservation de la nature » dans le SIG
  • Évolution au fil du temps

6. Dans quelle mesure le programme a-t-il progressé vers l’atteinte des résultats ultimes indiqués dans son modèle logique? Quels ont été les obstacles à cette réussite?

  • Mesure dans laquelle le programme ÉcoAction a contribué à l’atteinte de ces résultats
  • Mesure dans laquelle des obstacles/facteurs ont empêché le programme de connaître du succès
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser le financement
  • Analyse des données du SIG
  • Mise sur pied de collectivités plus saines et durables
  • Pourcentage de répondants en accord avec l’énoncé du sondage auprès des clients de 2008 : 
    • « Mon plus récent projet ÉcoAction a contribué à créer une collectivité plus saine » (Q25a); 
    • « Mon plus récent projet ÉcoAction a contribué à créer une collectivité plus durable » (Q25b).
  • Les Canadiens prennent des décisions plus responsables pour l’environnement sur une base individuelle
  • Pourcentage des répondants en accord avec l’énoncé du sondage auprès des clients de 2008 :
    • « Mon plus récent projet ÉcoAction a contribué à sensibiliser la collectivité sur les enjeux environnementaux locaux » (Q25f);  
    • « Mon plus récent projet ÉcoAction a contribué à sensibiliser la collectivité aux enjeux environnement-
      aux » (Q25g).

Rapport coût-efficacité : A-t-on utilisé les méthodes les plus appropriées, les plus efficaces par rapport au coût et les plus efficientes pour atteindre les résultats?

7. Le programme a-t-il réussi à optimiser l’utilisation des ressources versées par le gouvernement fédéral?

  • Analyse des coûts du programme au regard de la réalisation des résultats du programme
  • F et E sous forme de pourcentage des S et C
  • Évolution au fil du temps, par exemple :
    • Nombre d’ETP
    • Nombre de projets approuvés
  • Pourcentage du financement du programme ÉcoAction par rapport à la valeur totale du projet
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Analyse des données du SIG

8. Est-ce que d’autres programmes interviennent dans les mêmes secteurs d’activité ou partagent des objectifs analogues? Comment évite-t-on le dédoublement et atteint-on la complémentarité?

  • Analyse de programmes comparables par rapport au dédoublement et à la complémentarité 
  • Mesure dans laquelle les personnes ayant participé au programme connaissent/ont utilisé d’autres programmes gouvernementaux susceptibles de dédoubler, chevaucher ou compléter le programme ÉcoAction
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés

9. Existe-t-il d’autres façons plus rentables d’atteindre les résultats énoncés?

  • Mesure dans laquelle le budget du programme est approprié par rapport aux objectifs fixés (dans l’ensemble, par région, par priorité, etc.)
  • Suggestions mises de l’avant pour apporter des améliorations susceptibles de rendre le programme plus efficace par rapport au coût
  • Leçons apprises d’autres régions relativement au rapport coût-efficacité
  • Renseignements financiers ministériels relatifs aux ressources financières du programme (total, par région, par composante)
  • Nombre de propositions reçues par ETP ou F et E (total, par région)
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des données du SIG

Conception et mise en œuvre : A-t-on conçu et assuré la mise en œuvre du programme de la meilleure façon qui soit?

10. Dans quelle mesure les différents groupes cibles sont-ils satisfaits du programme et des changements apportés au programme?

  • Satisfaction des divers groupes cibles
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008
  • Sondage auprès des demandeurs s’étant vu refuser le financement

11. La structure de gouvernance est-elle efficace?

  • Mesure dans laquelle la structure de gouvernance est efficace
  • Suggestions formulées pour l’amélioration de la structure de gouvernance 
  • Mesure dans laquelle les principes reconnus de bonne gouvernance (c.-à-d.,  participation, transparence, pertinence, axée sur le consensus, équitable et inclusif, efficace et efficient et responsable) caractérisent le programme
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés

12. Est-ce que les données relatives au rendement ont été compilées sur les activités/résultats de programme? Si oui, est-ce que les données compilées ont servi à renseigner la haute direction/les décisionnaires?

  • Présence de données relatives au rendement dans le système
  • Décisions fondées sur l’information relative au rendement
  • Étude des documents et des dossiers
  • Entrevues auprès des informateurs clés

13. Quelles sont les meilleures pratiques et leçons retenues de ce programme?

  • Leçons retenues et pratiques exemplaires cernées
  • Forces et faiblesses cernées
  • Facteurs qui contribuent ou compromettent l’atteinte des résultats
  • Entrevues auprès des informateurs clés
  • Analyse des sondages de 2002 et de 2008

| TdesM | Précédent | Suivant |