Évaluation du thème Adaptation du Programme sur la qualité de l’air : Revue des constatations des évaluations et des mesures de rendement des programmes

Précédent | Table des Matières | Suivant


4.0 Constatations

On présente les constatations de cet examen de l’évaluation par enjeu d’évaluation (pertinence et rendement) et par question d’évaluation connexe. On présente tout d’abord les constatations générales pour l’enjeu, puis les constatations pour chaque question d’évaluation.

On fournit aussi une cote pour chaque question d’évaluation. On attribue les cotes en évaluant si les constatations de l’évaluation du programme et les données sur le rendement font état que :

Le symbole s.o. détermine les points pour lesquels une cote ne s’applique pas. Le symbole ~ indique les cotes attribuées aux résultats obtenus qui sont fondées seulement sur des preuves subjectifs.

En raison des limites notées dans ce rapport, il faut considérer les cotes provisoires. Dans certains cas (p. ex. la question d’évaluation 3), on n’a attribué aucune cote puisqu’il était impossible d’évaluer les questions d’évaluation en fonction uniquement des constatations des évaluations du programme.

Retourner au haut de la page
Haut de la page

4.1 Pertinence

Dans le cadre du Programme sur la qualité de l’air, le thème Adaptation représente un investissement du gouvernement fédéral dans la recherche, les outils, les partenariats et les normes pour tenter de réduire les risques pour la population canadienne, les collectivités et l’infrastructure associés aux changements climatiques et à la pollution atmosphérique. Selon les éléments probants montrant la pertinence de ce thème, en fonction des données recueillies durant les évaluations individuelles du programme, il y a une harmonisation claire avec les priorités fédérales et ministérielles. De plus, le programme vise un ensemble de considérations environnementales en matière de changements climatiques et de qualité de l’air.

Enjeu d’évaluation : Pertinence
Source(s) de données
Cote
1. Les activités liées au thème Adaptation sont‑elles alignées avec les priorités du gouvernement fédéral?
Éléments probants des évaluations du programme
Résultat atteint

 

On a examiné l’alignement avec les priorités du gouvernement fédéral lors de chaque évaluation individuelle du programme, habituellement par l’examen de la documentation et des entrevues, afin d’évaluer dans quelle mesure la raison d’être individuelle du programme répondait aux priorités fédérales spécifiques. Comme on peut le lire dans l’introduction, on a créé le thème Adaptation avec l’intention d’aborder les enjeux d’adaptation aux changements climatiques dans trois secteurs prioritaires du gouvernement fédéral : le Nord, la santé humaine et l’infrastructure. Selon les éléments probants des rapports d’évaluation, le thème Adaptation est aligné avec ces trois secteurs prioritaires du gouvernement fédéral. Par exemple :

Retourner au haut de la page
Haut de la page

De plus, il y a un manque d’éléments probants significatifs quant au chevauchement d’autres programmes ou au recoupement avec d’autres champs de compétence dans toutes les évaluations du programme.

Enjeu d’évaluation : Pertinence
Source(s) de données
Cote
2. Les activités du thème Adaptation s’harmonisent‑elles avec les priorités des ministères participants?
Éléments probants des évaluations du programme
Résultat atteint

 

On a aussi étudié l’alignement avec des priorités ministérielles spécifiques lors de chaque évaluation individuelle. Celles‑ci contiennent des détails sur les priorités ministérielles spécifiques qui ne sont pas reproduites ici, puisque cela renvoie à des détails spécifiques au programme. On a constaté que tous les programmes d’adaptation sont alignés avec les priorités de chaque ministère participant. Par exemple :

Enjeu d’évaluation : Pertinence
Source(s) de données
Cote
3. Les activités du thème Adaptation sont‑elles reliées aux considérations environnementales en matière de changements climatiques et de qualité de l’air?
Éléments probants des évaluations du programme
s.o.

 

Retourner au haut de la page
Haut de la page

On a attribué une cote s.o (sans objet) à la question 3, puisqu’il a été impossible d’évaluer à quel point le thème est en accord avec les principales considérations environnementales en matière de changements climatiques et de qualité de l’air en se fondant uniquement sur les constatations de l’évaluation du programme. Pour évaluer la portée du lien entre le thème actuel et ces considérations stratégiques, il faut disposer de données sur l’ensemble des besoins éventuels en ce qui a trait aux changements climatiques et à la qualité de l’air qu’on peut satisfaire grâce à des politiques et à des programmes d’adaptation. À cette étape‑ci, les éléments probants que contiennent les évaluations individuelles proposent une description des liens du programme avec les principales considérations environnementales en matière de changements climatiques et de qualité de l’air, comme :

Retourner au haut de la page
Haut de la page

4.2 Rendement

La mise en œuvre des programmes du thème Adaptation est trop récente pour permettre une évaluation valide du rendement thématique. Parmi les limites fréquentes notées dans les évaluations individuelles du programme, il y a le fait que la mise en œuvre de ces nouveaux programmes est trop récente pour pouvoir vérifier les effets et l’atteinte des objectifs. Même si les programmes du thème Adaptation semblent être sur la voie d’atteindre les objectifs prévus, les évaluations du programme ont fourni des preuves restreintes quant à l’obtention de résultats.

Enjeu d’évaluation : Rendement
Source(s) de données
Cote
4. Dans quelle mesure les résultats escomptés correspondent‑ils à l’objectif du thème Adaptation?
Éléments probants des évaluations du programme
Progrès réalisés, attention requise

 

Les éléments probants présentés dans cette section renvoient à la mesure avec laquelle le thème Adaptation a atteint les objectifs déterminés dans le modèle logique thématique. Chaque évaluation individuelle abordait un ensemble spécifique de résultats thématiques en fonction de l’alignement avec les objectifs et buts du programme. On a supposé dès le début du processus d’évaluation thématique qu’aucune évaluation individuelle de programme n’aborderait tous les éléments du modèle logique, car certains résultats ne sont pas pertinents ou ne s’appliquent pas à chacun des programmes. Regroupés et ayant suffisamment de temps pour mettre en œuvre les activités et produits attendus, les programmes devraient aborder tous les résultats apparaissant dans le modèle logique thématique.

Parmi les limites communes quant à la réalisation des évaluations du programme, il y avait la mise en œuvre récente des programmes. Ainsi, on dispose d’éléments probants limités pour examiner l’évaluation des résultats puisque les programmes viennent de commencer à réaliser les activités prévues et à joindre les intervenants externes. De plus, cet examen se fonde sur des évaluations à différentes étapes de leur réalisation10.

Résultats immédiats

Selon des éléments probants initiaux, des résultats immédiats attendus ont été obtenus quant à un accès accru à l’information et aux produits et à leur disponibilité supérieure, la capacité et la collaboration se sont améliorées après le début des activités du programme.

Retourner au haut de la page
Haut de la page

Accès/disponibilité accrus ‑ information et produits

Selon les éléments probants sur l’accès aux sites Internet et leur utilisation, en plus d’autres données qualitatives sur la disponibilité accrue des produits et l’expertise technique, les programmes du thème Adaptation semblent avoir commencé à améliorer la disponibilité des données et des produits sur l’adaptation, ainsi que l’accès à ceux‑ci. Les points suivants proposent de l’information plus détaillée :

Retourner au haut de la page
Haut de la page

Capacité accrue d’exécuter et d'appliquer des principes scientifiques

Selon les éléments probants sur la capacité accrue d’exécuter et d'appliquer des principes scientifiques présentés dans les rapports d’évaluation, les programmes du thème Adaptation ont créé de nouvelles données scientifiques, ainsi que des outils et des techniques pour appliquer la science de l’adaptation aux changements climatiques, comme ceux illustrés dans les exemples suivants :

Une plus grande collaboration pour aborder les enjeux relatifs aux changements climatiques

Les éléments probants présentés dans les évaluations individuelles semblent indiquer que les programmes du thème Adaptation ont réussi à créer des approches de collaboration initiale pour aborder les enjeux de l’adaptation aux changements climatiques. Par exemple :

Retourner au haut de la page
Haut de la page

De plus, les éléments probants présentés dans l’évaluation formative du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier indiquent qu’un vaste groupe d’intervenants, comme des scientifiques, des conseillers, des experts et des collectivités, collaborent pour réaliser des projets d’adaptation aux changements climatiques. On a noté que ces collaborations ont permis de créer un réseau solide de chercheurs et de collectivités intéressés par l’adaptation aux changements climatiques.

Résultats intermédiaires

On n’a pas fait grandement état des éléments probants des résultats intermédiaires dans les évaluations individuelles du programme, en raison des limites relatives à la mise en œuvre prématurée du programme mentionnée précédemment. Dans l’ensemble, les éléments probants présentés étaient de nature conjecturale et se fondaient sur des sources indirectes (p. ex. le personnel du programme qui commentait l’utilisation d’outils d’adaptation par d’autres groupes). Ces données restreintes ne doivent pas laisser entendre un rendement limité ou mauvais. La mise en œuvre du programme n’est pas assez large pour permettre d’atteindre les objectifs prévus pour des enjeux complexes, comme le changement de comportement ou la capacité de la collectivité11. Finalement, comme on l’a noté ailleurs dans le rapport, les constatations de l’examen de l’évaluation du thème Adaptation se fondent sur des évaluations qui sont à des étapes différentes de leur réalisation12. Les constatations suivantes sont donc présentées à un niveau général. Ils sont fondés sur une évaluation des données actuellement disponibles.

Retourner au haut de la page
Haut de la page

Utilisation accrue d'information et de produits

En ce moment, les éléments probants sur l’utilisation accrue des données et des produits laissent entendre une utilisation accrue chez les groupes clairement intéressés par l’utilisation des produits et des données sur l’adaptation ou par des incitatifs à les utiliser.

Regroupés, les résultats semblent indiquer que l’utilisation actuelle des données et produits sur l’adaptation est restreinte aux groupes qui manifestent un intérêt immédiat à l’égard de l’incidence des changements climatiques (p. ex. les scientifiques ou les personnes vulnérables aux effets négatifs sur la santé). De plus, il semble qu’il existe des possibilités d’élargir l’utilisation de ces données et produits. Du travail d’évaluation additionnel sera nécessaire pour évaluer pleinement et de manière fiable cette constatation.

Sensibilisation accrue aux risques

Selon les éléments probants des évaluations du programme, il y a une hausse de la sensibilisation aux risques causés par une mauvaise qualité de l’air et des changements climatiques. Tout comme dans le cas de l’utilisation accrue du résultat intermédiaire, c’est principalement restreint à des populations cibles spécifiques (p. ex. les scientifiques s’intéressant au climat, les personnes vulnérables à la pollution atmosphérique).

Cependant, les résultats de l’enquête de référence nationale sur l’adaptation aux changements climatiques ont révélé un aspect associé aux risques que les évaluations individuelles n’ont pas étudié. Les résultats du sondage suggèrent que plusieurs partenaires gouvernementaux non fédéraux et commerciaux ne font pas de distinction entre l’approche fédérale à l’égard de l’adaptation aux changements climatiques (p. ex. les politiques visant à réduire les risques pour la population canadienne en raison des changements climatiques) et l’approche fédérale à l’égard de l’atténuation des changements climatiques (p. ex. les politiques visant à réduire les émissions de GES ou la pollution atmosphérique). Par conséquent, les intervenants externes peuvent encore s’attendre à ce que les politiques d’adaptation fédérales abordent les enjeux d’atténuation des changements climatiques au lieu des enjeux associés à la gestion des risques, comme la planification des événements météorologiques extrêmes ou les changements éventuels aux codes du bâtiment.

Capacité accrue d'intervenir auprès des populations cibles sur les enjeux du changement climatique et de la qualité de l’air

Selon des éléments probants d’évaluations individuelles du programme, il y a une capacité croissante d’agir sur le plan des enjeux relatifs aux changements climatiques et à la qualité de l’air chez les populations cibles. Par exemple :

Retourner au haut de la page
Haut de la page

Cependant, la capacité peut être évaluée différemment par diverses populations cibles. Par exemple, la capacité des collectivités rurales à s’adapter à une baisse des précipitations ou la capacité des collectivités nordiques de s’adapter à une hausse du niveau de la mer diffèrent, sur le plan qualitatif et le plan quantitatif, de la capacité d’une personne de modifier son comportement en fonction de données sur la chaleur extrême ou la qualité de l’air. Comme pour les autres résultats thématiques intermédiaires, même si les éléments probants précoces illustrent une prise de mesures positives pour accroître la capacité, il faut accomplir du travail d’évaluation additionnel pour évaluer pleinement et de manière fiable cet extrant.

D'autres approches d'adaptation aux changements climatiques sont élaborées dans les domaines cibles par les instances appropriées

Selon les éléments probants des évaluations du programme, il est trop tôt pour évaluer cette constatation.

Enjeu d’évaluation : Rendement
Source(s) de données
Cote
5. Existe‑t‑il des moyens plus rentables, économiques et efficient d’atteindre les objectifs du thème Adaptation?
Éléments probants des évaluations du programme
s.o.

 

6. Comment l’efficience peut‑elle être améliorée dans le cadre du thème Adaptation?
Éléments probants des évaluations du programme
s.o.

 

Retourner au haut de la page
Haut de la page

À cette étape‑ci, on dispose, dans l’ensemble, de peu d’information pour tirer des conclusions thématiques sur l’efficience et l’économie. Les éléments probants des évaluations n’ont pas encore été recueillis, ou se fondent sur des données qualitatives en raison de problèmes à établir la relation entre données financières sur les extrants (efficience) et les résultats (économie). On ne dispose pas d’éléments probants suffisants dans les évaluations du programme pour tirer des conclusions fiables.

Enjeu d’évaluation : Rendement
Source(s) de données
Cote
7. Dans quelle mesure chaque activité du thème Adaptation a‑t‑elle été mise en œuvre ou est‑elle en voie d’être mise en œuvre comme prévu?
Éléments probants des évaluations du programme

Éléments probants des rapports financiers thématiques
Progrès réalisés, attention requise

 

Selon les éléments probants des évaluations individuelles du programme et des rapports financiers thématiques, les programmes sont, dans l’ensemble, mis en œuvre comme on l’avait planifié, même si chaque évaluation faisait état de défis uniques.

Le thème Adaptation a fait état de dépenses planifiées et réelles par l’entremise du cadre horizontal de gestion, de responsabilisation et de rapport (CHGRR) du PQA. Les résultats ont été rapportés dans deux rapports consécutifs sur le rendement ministériel d’Environnement Canada (voir le tableau 3). Selon les données financières, la première année de mise en œuvre était, dans la plupart des cas, l’exercice financier de 2008‑2009. Cela souligne le début tardif de la mise en œuvre noté dans un certain nombre d’évaluations individuelles du programme. Lors de la première année entière de mise en œuvre du thème (2008‑2009), on a constaté une utilisation de la majorité des ressources attribuées, soit d’environ 68 p. cent des ressources planifiées utilisées par le programme d’amélioration des scénarios relatifs aux changements climatiques13 à 88 p. cent des ressources planifiées utilisées par le programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier. Ces résultats illustrent que la mise en œuvre planifiée des programmes du thème Adaptation semble avancer. Cependant, il est trop tôt pour faire une évaluation complète, puisque les données sur l’utilisation des ressources par tous les programmes durant l’exercice de 2009‑2010 n’étaient pas accessibles lors de l’examen de l’évaluation de l’adaptation14.

Tableau 3. Dépenses du thème Adaptation : Prévues et réelles (en milliers de dollars)

Selon les éléments probants des évaluations du programme, les programmes ont, dans l’ensemble, été mis en œuvre tel que planifié, y compris des éléments probants à l’effet que :

Enjeu d’évaluation : Rendement
Source(s) de données
Cote
8. La structure de gestion et de responsabilité pour le thème Adaptation est‑elle bien établie et fonctionne‑t‑elle comme prévu?
Mesure dans laquelle les gestionnaires de programme ont indiqué que la structure de gestion et de responsabilité du thème est en place et fonctionne tel que prévu.
Progrès réalisés, attention requise

 

Dans l’ensemble, les personnes interrogées ont déclaré que la structure de gouvernance et de responsabilité prévue était en place et fonctionnait. Cependant, on a noté plusieurs domaines à améliorer.

Retourner au haut de la page
Haut de la page
Enjeu d’évaluation : Rendement
Source(s) de données
Cote
9. Quelles sont les pratiques exemplaires ou les leçons apprises des activités liées au thème Adaptation?
Évaluations individuelles du programme
s.o.

 

Retourner au haut de la page
Haut de la page

En ce qui a trait aux leçons apprises ou aux pratiques exemplaires, il y a peu d’éléments probants à mentionner pour le thème Adaptation, puisqu’ils étaient, dans l’ensemble, spécifiques aux programmes, à cause peut‑être de la variation notée quant à la portée et à la mesure des programmes individuels. On dispose de suggestions spécifiques faites durant les évaluations dans chaque rapport d’évaluation individuelle. Il est intéressant de noter un certain nombre de leçons apprises découlant de quelques évaluations qui semblent aborder des enjeux thématiques, tout particulièrement celles sur l’importance d’assurer la participation des intervenants externes, et celles reconnaissant que l’adaptation fait partie d’un lot de priorités concurrentielles et que tous les partenaires devront déployer des efforts durables pour aborder les enjeux.

Retourner au haut de la page
Haut de la page

10 Comme on l’a noté plus tôt, seulement quatre évaluations étaient terminées lors de l’examen de l’évaluation. De ce nombre, seulement deux avaient été approuvées par leur comité d’évaluation ministériel respectif. On a aussi tiré les constatations de l’examen de l’évaluation des constatations préliminaires de deux évaluations du programme en cours, ainsi que d’un sondage auprès des intervenants qui a servi à des fins de mesure du rendement.

11 Annemoon et al. ont noté, dans l’article « Evaluating the Effectiveness of Air Quality Interventions » (Journal of Toxicology and Environmental Health, Part A, 71: 583–587, 2008), « qu’on peut prévoir des défis considérables lors de l’évaluation de l’incidence sur la santé des règlements sur la qualité de l’air. Par exemple, les règlements entrent en vigueur à différents moments. Ils sont mis en œuvre à différents échelons du gouvernement. Les évaluations sont réalisées à différentes échelles de temps et à l’échelle nationale, à l’échelle régionale ou à l’échelle locale. De plus, d’autres changements peuvent être apportés, par exemple, sur le plan de l’activité économique ou au niveau du comportement individuel, comme les gens qui restent à l’intérieur lorsque le niveau de pollution est élevé. Finalement, il faut tenir compte des autres causes d’effets négatifs sur la santé attribuables à la pollution atmosphérique. Ces défis deviennent plus importants lorsque les règlements sont mis en œuvre sur une longue période et qu’on ne constate pas immédiatement les améliorations quant à la qualité de l’air et aux effets négatifs sur la santé, ce qui augmente le risque de confusion avec d’autres facteurs de risque ».

12 Comme on l’a noté plus tôt, seulement quatre évaluations étaient terminées lors de l’examen de l’évaluation. De ce nombre, seulement deux avaient été approuvées par leur comité d’évaluation ministériel respectif. On a aussi tiré les constatations de l’examen de l’évaluation des constatations préliminaires de deux évaluations du programme en cours, ainsi que d’un sondage auprès des intervenants qui a servi à des fins de mesure du rendement.

13 Le financement pour ce programme n’a été fait qu’à l’automne.

14 Les données financières pour l’exercice 2009‑2010 feront l’objet d’un rapport indépendant à l’été 2010, et seront intégrées à l’évaluation horizontale du PQA.

16 RNCan a obtenu une prolongation d’un an (2011‑2012) pour ses programmes au moment de l’évaluation. Cependant, cette prolongation était une nouvelle définition du profil des fonds existants. Elle n’inclut donc pas de nouvelles ressources.

17 Les répondants externes et les évaluations des ateliers de formation laissent entendre que ces séances ont été très utiles. Elles permettent de joindre plusieurs membres de la population cible en même temps, ce qui aide le personnel chargé d’expliquer comment utiliser les sites Internet à économiser temps et efforts.

Précédent | Table des Matières | Suivant