Accueil > Divulgation proactive > Vérification et évaluation > Rapports de V&E > 2010-2011 > Évaluation du thème Adaptation du Programme sur la qualité de l’air : Revue des constatations des évaluations et des mesures de rendement des programmes
Évaluation du thème Adaptation du Programme sur la qualité de l’air : Revue des constatations des évaluations et des mesures de rendement des programmes
Précédent | Table des Matières | Suivant
3.0 Objectif, portée et méthodologie
La présente section fournit de l’information sur l’objectif et le public cible de l’examen de l’évaluation du thème Adaptation, la portée de l’évaluation, les principaux enjeux et les questions en matière d’évaluation, la méthodologie et les limites.
Le présent document a pour objectif de présenter les constatations disponibles sur l’évaluation du programme thématique adaptation, d’examiner les enjeux et les constatations et de contribuer à orienter le débat sur l’évolution future de la politique d’adaptation aux changements climatiques. L’évaluation thématique vise à satisfaire aux obligations d’information de la haute direction d’EC, de SC, d’AINC, de RNCan et de l’ASPC, ainsi que du Conseil du Trésor à l’égard de la pertinence et du rendement du thème Adaptation dans son ensemble. L’évaluation thématique appuie également l’évaluation du Programme sur la qualité de l’air.
L’examen de l’évaluation du thème Adaptation porte sur la période de 2007‑2008 jusqu’à maintenant (juin 2010). Comme ces programmes d’adaptation sont aux premières étapes de la mise en œuvre (de fait, les programmes sont à mi‑chemin du calendrier de mise en œuvre prévu à l’origine), les constatations découlant de l’évaluation sont préliminaires et généralement axées sur les extrants et les résultats immédiats qui étaient mesurables pendant la période couverte par les évaluations.
L’examen des constatations disponibles issues de l’évaluation du programme était axé sur la pertinence, les extrants et les résultats précoces, l’utilisation appropriée des ressources, l’efficience et l’économie, ainsi que la conception et l’exécution. L’évaluation thématique a abordé toutes les questions exigées par la politique d’évaluation du Conseil du Trésor de 2009.
Pertinence
Conformément à la politique d’évaluation du Conseil du Trésor de 2009, la pertinence évalue dans quelle mesure le programme répond à un besoin continu, s’harmonise avec les priorités du gouvernement et avec les rôles et responsabilités du fédéral. Ces enjeux sont abordés dans les questions qui suivent :
- Les activités relatives au thème Adaptation sont‑elles alignées avec les priorités du gouvernement fédéral?
- Les activités relatives au thème Adaptation s’harmonisent‑elles avec les priorités des ministères participants?
- Les activités relatives au thème Adaptation touchent‑elles les considérations environnementales en matière de changements climatiques et de qualité de l’air?
Rendement
Conformément à la politique d’évaluation du Conseil du Trésor de 2009, le rendement évalue la mesure dans laquelle le programme a atteint ou est en voie d’atteindre les résultats prévus et met en œuvre des mesures d’efficience et d’économie. Ces enjeux sont abordés dans les questions qui suivent :
- Dans quelle mesure les extrants recherchés et les premiers résultats correspondent‑ils à l’objectif du thème Adaptation?
- Existe‑t‑il des moyens plus rentables, économiques et efficient d’atteindre les objectifs du thème Adaptation?
- Comment l’efficience peut‑elle être améliorée dans le cadre du thème Adaptation?
- Dans quelle mesure chaque activité liée au thème Adaptation a‑t‑elle été mise en œuvre ou est‑elle en voie d’être mise en œuvre comme prévu?
- La structure de gestion et de responsabilité pour le thème Adaptation est‑elle bien établie et fonctionne‑t‑elle comme prévu?
- Quelles sont les pratiques exemplaires ou les leçons apprises des activités relatives au thème Adaptation?
Cette section décrit les deux sources de preuves d’évaluation utilisées pour élaborer l’évaluation du thème Adaptation.
- Évaluations individuelles du programme – La plupart
des éléments probants présentés dans l’examen
de l’évaluation du thème Adaptation sont fondées
sur les constatations disponibles provenant des évaluations individuelles
du programme et des données sur se rendement9.
Ces évaluations ont généré des constatations fondées
sur de multiples sources de données; par conséquent, les preuves
examinées sont déjà représentatives de nombreuses
sources de données, Comme mentionné précédemment,
les évaluations individuelles visaient à fournir des données
probantes sur les résultats, articulées dans la mesure du possible
selon un modèle logique thématique, compte tenu de la mise en
œuvre hâtive des programmes d’adaptation, tout en permettant
d’adopter une approche suffisamment souple pour traiter les enjeux de
responsabilité propres au programme. Le tableau 2
ci‑après décrit brièvement l’état
de chacune des évaluations individuelles de programme au moment de
l’examen de l’évaluation du thème Adaptation.
- Questions relatives à l’évaluation du thème
Adaptation – Trois questions supplémentaires propres au
thème ont été posées à huit gestionnaires
de programme des ministères participants. Ces questions, élaborées
en collaboration avec les représentants en évaluation de tous
les ministères participants, ont permis de recueillir des données
probantes qualitatives aux fins de l’évaluation de l’efficacité
et des défis de l’approche de gestion et de responsabilisation
relative au thème. Les données probantes recueillies grâce
à ces questions n’ont été inscrites dans aucune
évaluation individuelle de programme, étant donné que
les questions abordaient uniquement les enjeux liés au thème
de l’adaptation dans son ensemble.
Tableau 2. État de l’évaluation au moment de l’examen de l’évaluation du thème Adaptation (mai‑juin 2010)
Évaluation terminée et approuvée
Initiatives du programme
Ministère
Description de l’état de l’évaluation
1. Aider les résidants du Nord à évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier
L’évaluation formative a été effectuée et approuvée par
AINC; elle était disponible pour analyse en février 2010. L’évaluation sommative avait commencé et devrait être terminée en décembre 2010.
2. Cote air santé et programme national de prévision de la qualité de l’air
L’évaluation a été effectuée et approuvée par
SC et
EC au cours de l’exercice 2009 2010; elle était disponible pour analyse en mars 2010.
Évaluation terminée, mais non approuvée
Initiatives du programme
Ministère
Description de l’état de l’évaluation
3. Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites
L’évaluation a été effectuée, est en attente de l’approbation du Conseil de la haute direction de
SC et était disponible pour analyse en mai 2010.
4. Amélioration des scénarios relatifs aux changements climatiques
L’évaluation a été effectuée et est en attente de l’approbation du comité d’évaluation ministériel d’
EC; elle était disponible pour analyse en mai 2010.
Évaluation commencée, mais non terminée
5. Systèmes d'alerte et de réaction relatifs au climat et aux maladies infectieuses, afin de protéger la santé des Canadiens (
SC,
ASPC)
SC (projet de résistance à la chaleur) et ASPC (système pilote d'intervention pour lutter contre les maladies infectieuses)
Les deux évaluations avaient commencé. Les constatations provisoires ont été approuvées et fournies au personnel de la division de l’évaluation d’
EC en appui à l’examen de l’évaluation du thème Adaptation en mai 2010.
Évaluation non commencée
6. Outils novateurs de gestion des risques/ 7. Partenariats pour les mesures d'adaptation régionale
L’évaluation est prévue pour l’automne 2010. Cependant, le programme avait effectué une enquête de référence. nationale sur les changements climatiques sur la sensibilisation et la compréhension des intervenants de
RNCan. Les constatations étaient disponibles pour analyse en mai 2010.
Les deux limites relatives à l’évaluation du thème Adaptation sont les suivantes :
- Les programmes du thème Adaptation, à l’exception de la cote air santé qui a été instaurée conformément à la Stratégie sur la qualité de l’air transfrontalier, sont de nouveaux programmes qui ont été lancés il y a environ 18 mois à deux ans pendant la période des évaluations individuelles de programme. Comme il a été mentionné dans plusieurs de ces évaluations, la première année d’activité du programme était axée sur les premières activités de mise en œuvre, comme la dotation en personnel; les programmes n’ont en général commencé à joindre les intervenants externes que vers la fin de l’exercice 2008‑2009 et au début de l’exercice 2009‑2010. Comme prévu au cours de la phase de planification de l’évaluation, les évaluations individuelles ont en général fourni des données probantes sur les extrants et une appréciation limitée des premiers résultats, du fait que la mise en œuvre du programme est encore à ses débuts. Les constatations découlant de l’examen par l’évaluation du thème Adaptation sont par conséquent fondées sur les premières appréciations des retombées du programme; une évaluation plus approfondie sera nécessaire au cours des prochaines années pour établir un portrait plus global de l’impact des programmes d’adaptation.
- Compte tenu de la courte période de mise en œuvre des activités
d’adaptation, de nombreuses évaluations du programme seront réalisées
à la fin de l’exercice 2010‑2011. Les constatations présentées
dans le présent examen sont, par conséquent, une combinaison
des premiers résultats de l’évaluation et des données
de l’évaluation du rendement. Seules deux évaluations,
soit l’Évaluation formative du Programme visant à
aider les résidants du Nord à évaluer les principaux
points vulnérables et les principales occasions d'adaptation
(AINC) et l’Évaluation du programme national de la Cote air
santé (EC et SC),
ont été réalisées et approuvées
par leur comité d’évaluation respectif (comme mentionné
au tableau 2). Le calendrier de
présentation des rapports d’évaluation approuvés
avait été planifié tant pour le Plan d’évaluation
horizontale du Programme sur la qualité de l’air (2008) que pour
le Plan d’évaluation thématique de l’adaptation
du Programme sur la qualité de l’air (2009), compte tenu du fait
que de nombreux programmes seraient aux premières étapes de
la mise en œuvre et de la nécessité de s’assurer
que les évaluations seraient réalisées après une
période de mise en œuvre raisonnable. Nous rappelons cependant
au lecteur que les constatations et les conclusions présentées
sont représentatives des données probantes disponibles à
une période donnée (printemps 2010).
Pour une analyse détaillée des limites propres à l’évaluation, voir le rapport de chaque évaluation individuelle du programme.
9 Il y avait seulement quatre évaluations terminées au moment de l’examen d’évaluation, dont deux avaient été approuvées par leur comité d’évaluation ministeriél respectif. Les constatations de l’examen d’évaluation étaient égalements tirées des premières conclusions issues de deux autres programmes d’évaluation en cours et d’un sondage auprès des intervenants utilisé aux fins de mesures du rendement.
Précédent | Table des Matières | Suivant
