Accueil > Divulgation proactive > Vérification et évaluation > Rapports de V&E > 2010-2011 > Évaluation du thème Adaptation du Programme sur la qualité de l’air : Revue des constatations des évaluations et des mesures de rendement des programmes
Évaluation du thème Adaptation du Programme sur la qualité de l’air : Revue des constatations des évaluations et des mesures de rendement des programmes
Précédent | Table des Matières | Suivant
On présente les constatations de cet examen de l’évaluation par enjeu d’évaluation (pertinence et rendement) et par question d’évaluation connexe. On présente tout d’abord les constatations générales pour l’enjeu, puis les constatations pour chaque question d’évaluation.
On fournit aussi une cote pour chaque question d’évaluation. On attribue les cotes en évaluant si les constatations de l’évaluation du programme et les données sur le rendement font état que :
- les résultats escomptés ou les buts visés ont été atteints – résultat atteint;
- des progrès importants ont été réalisés pour atteindre les résultats escomptés ou les buts visés, mais on doit encore y porter attention – progrès réalisés, attention requise;
- les progrès réalisés pour obtenir les résultats escomptés ou les buts sont minces et on doit y attacher une attention prioritaire – progrès minces, attention prioritaire.
Le symbole s.o. détermine les points pour lesquels une cote ne s’applique pas. Le symbole ~ indique les cotes attribuées aux résultats obtenus qui sont fondées seulement sur des preuves subjectifs.
En raison des limites notées dans ce rapport, il faut considérer les cotes provisoires. Dans certains cas (p. ex. la question d’évaluation 3), on n’a attribué aucune cote puisqu’il était impossible d’évaluer les questions d’évaluation en fonction uniquement des constatations des évaluations du programme.
Dans le cadre du Programme sur la qualité de l’air, le thème Adaptation représente un investissement du gouvernement fédéral dans la recherche, les outils, les partenariats et les normes pour tenter de réduire les risques pour la population canadienne, les collectivités et l’infrastructure associés aux changements climatiques et à la pollution atmosphérique. Selon les éléments probants montrant la pertinence de ce thème, en fonction des données recueillies durant les évaluations individuelles du programme, il y a une harmonisation claire avec les priorités fédérales et ministérielles. De plus, le programme vise un ensemble de considérations environnementales en matière de changements climatiques et de qualité de l’air.
Enjeu d’évaluation : Pertinence
Source(s) de données
Cote
1. Les activités liées au thème Adaptation sont‑elles alignées avec les priorités du gouvernement fédéral?
Éléments probants des évaluations du programme
Résultat atteint
On a examiné l’alignement avec les priorités du gouvernement fédéral lors de chaque évaluation individuelle du programme, habituellement par l’examen de la documentation et des entrevues, afin d’évaluer dans quelle mesure la raison d’être individuelle du programme répondait aux priorités fédérales spécifiques. Comme on peut le lire dans l’introduction, on a créé le thème Adaptation avec l’intention d’aborder les enjeux d’adaptation aux changements climatiques dans trois secteurs prioritaires du gouvernement fédéral : le Nord, la santé humaine et l’infrastructure. Selon les éléments probants des rapports d’évaluation, le thème Adaptation est aligné avec ces trois secteurs prioritaires du gouvernement fédéral. Par exemple :
- Selon les éléments probants des évaluations du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier ainsi que le programme Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites, les programmes sont alignés avec les priorités du gouvernement fédéral en ce qui a trait au développement nordique et avec des engagements comme l’Année polaire internationale, la Convention‑cadre des Nations Unies sur les changements climatiques et le Groupe d’experts intergouvernemental sur l’évolution du climat.
- Selon les éléments probants de l’évaluation du programme de la cote air santé (CAS), de la version préliminaire de l’évaluation du projet de résistance à la chaleur et de la version préliminaire du système‑pilote d'intervention pour lutter contre les maladies infectieuses ils sont alignés avec les priorités fédérales en ce qui a trait à la santé humaine grâce à la création d’outils, comme une cote air santé uniforme à l’échelle nationale qui se fonde sur des données relatives à la santé, à l’élaboration de projets pilotes pour offrir des données d’alerte et d’intervention à la population durant les épisodes de chaleur extrême, et à la recherche sur les risques pour la santé publique associés aux maladies infectieuses et aux changements climatiques.
- Selon les éléments probants de la version préliminaire de l’évaluation du programme d’amélioration des scénarios relatifs aux changements climatiques, il y a un alignement avec les priorités fédérales en ce qui a trait à la protection de l’infrastructure grâce à la recherche et à des activités connexes sur les risques et les extrêmes climatiques qui mettent à niveau les codes et normes du bâtiment canadiens, afin d’y inclure l’incidence des changements climatiques sur l’infrastructure existante.
De plus, il y a un manque d’éléments probants significatifs quant au chevauchement d’autres programmes ou au recoupement avec d’autres champs de compétence dans toutes les évaluations du programme.
Enjeu d’évaluation : Pertinence
Source(s) de données
Cote
2. Les activités du thème Adaptation s’harmonisent‑elles avec les priorités des ministères participants?
Éléments probants des évaluations du programme
Résultat atteint
On a aussi étudié l’alignement avec des priorités ministérielles spécifiques lors de chaque évaluation individuelle. Celles‑ci contiennent des détails sur les priorités ministérielles spécifiques qui ne sont pas reproduites ici, puisque cela renvoie à des détails spécifiques au programme. On a constaté que tous les programmes d’adaptation sont alignés avec les priorités de chaque ministère participant. Par exemple :
- Le programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier est aligné avec les priorités d’AINC en ce qui a trait au Nord, aux gens et aux terres.
- La CAS et le programme d’amélioration des scénarios relatifs aux changements climatiques sont alignés avec les priorités d’EC en ce qui a trait aux prévisions et aux services météorologiques et environnementaux permettant de réduire les risques et de contribuer au bien‑être de la population canadienne.
- La CAS, le programme Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites et le projet de résistance à la chaleur sont alignés avec les priorités de SC en ce qui a trait à la présentation de données sur l’air et d’autres polluants environnementaux qui ont un effet sur la santé, et avec la Stratégie de développement durable de SC.
- Le programme système pilote d'intervention pour lutter contre les maladies infectieuses est aligné avec les priorités de l’Agence de la santé publique du Canada en ce qui a trait aux enjeux environnementaux.
Enjeu d’évaluation : Pertinence
Source(s) de données
Cote
3. Les activités du thème Adaptation sont‑elles reliées aux considérations environnementales en matière de changements climatiques et de qualité de l’air?
Éléments probants des évaluations du programme
s.o.
On a attribué une cote s.o (sans objet) à la question 3, puisqu’il a été impossible d’évaluer à quel point le thème est en accord avec les principales considérations environnementales en matière de changements climatiques et de qualité de l’air en se fondant uniquement sur les constatations de l’évaluation du programme. Pour évaluer la portée du lien entre le thème actuel et ces considérations stratégiques, il faut disposer de données sur l’ensemble des besoins éventuels en ce qui a trait aux changements climatiques et à la qualité de l’air qu’on peut satisfaire grâce à des politiques et à des programmes d’adaptation. À cette étape‑ci, les éléments probants que contiennent les évaluations individuelles proposent une description des liens du programme avec les principales considérations environnementales en matière de changements climatiques et de qualité de l’air, comme :
- des données et de l’information sur les modèles climatiques globales et régionales, les risques et les scénarios relatifs aux changements climatiques pour simplifier les activités de recherche au sein de la vaste communauté des sciences climatiques, autant au Canada qu’à l’échelle internationale;
- des données d’alerte et d’intervention en présence d’épisodes de chaleur extrême, en raison des décès dus aux épisodes de chaleur récents dans le Midwest américain et en Europe;
- des données sur les changements climatiques et des outils d’adaptation pour les collectivités du Nord, en raison de l’incidence éventuelle significative des changements climatiques sur ces collectivités;
- des outils pour traiter l’impact de la qualité de l’air sur la santé humaine, en raison d’un consensus croissant au sein de la communauté scientifique sur le fait que la qualité de l’air peut avoir un effet sur différents problèmes de santé humaine;
- des constatations tirées de l’enquête de référence nationale de RNCan, visant les publics cibles de ce ministère, indiquent que 7 entreprises sur 10 croient que les changements climatiques auraient principalement un effet négatif sur leur organisation; selon ces répondants, les effets seraient ceux abordés actuellement par les programmes de RNCan;
- des études conçues pour comprendre l’incidence sur la santé publique des maladies infectieuses découlant des changements climatiques, en raison du nombre croissant d’études faisant des liens entre eux.
La mise en œuvre des programmes du thème Adaptation est trop récente pour permettre une évaluation valide du rendement thématique. Parmi les limites fréquentes notées dans les évaluations individuelles du programme, il y a le fait que la mise en œuvre de ces nouveaux programmes est trop récente pour pouvoir vérifier les effets et l’atteinte des objectifs. Même si les programmes du thème Adaptation semblent être sur la voie d’atteindre les objectifs prévus, les évaluations du programme ont fourni des preuves restreintes quant à l’obtention de résultats.
Enjeu d’évaluation : Rendement
Source(s) de données
Cote
4. Dans quelle mesure les résultats escomptés correspondent‑ils à l’objectif du thème Adaptation?
Éléments probants des évaluations du programme
Progrès réalisés, attention requise
Les éléments probants présentés dans cette section renvoient à la mesure avec laquelle le thème Adaptation a atteint les objectifs déterminés dans le modèle logique thématique. Chaque évaluation individuelle abordait un ensemble spécifique de résultats thématiques en fonction de l’alignement avec les objectifs et buts du programme. On a supposé dès le début du processus d’évaluation thématique qu’aucune évaluation individuelle de programme n’aborderait tous les éléments du modèle logique, car certains résultats ne sont pas pertinents ou ne s’appliquent pas à chacun des programmes. Regroupés et ayant suffisamment de temps pour mettre en œuvre les activités et produits attendus, les programmes devraient aborder tous les résultats apparaissant dans le modèle logique thématique.
Parmi les limites communes quant à la réalisation des évaluations du programme, il y avait la mise en œuvre récente des programmes. Ainsi, on dispose d’éléments probants limités pour examiner l’évaluation des résultats puisque les programmes viennent de commencer à réaliser les activités prévues et à joindre les intervenants externes. De plus, cet examen se fonde sur des évaluations à différentes étapes de leur réalisation10.
Résultats immédiats
Selon des éléments probants initiaux, des résultats immédiats attendus ont été obtenus quant à un accès accru à l’information et aux produits et à leur disponibilité supérieure, la capacité et la collaboration se sont améliorées après le début des activités du programme.
Accès/disponibilité accrus ‑ information et produits
Selon les éléments probants sur l’accès aux sites Internet et leur utilisation, en plus d’autres données qualitatives sur la disponibilité accrue des produits et l’expertise technique, les programmes du thème Adaptation semblent avoir commencé à améliorer la disponibilité des données et des produits sur l’adaptation, ainsi que l’accès à ceux‑ci. Les points suivants proposent de l’information plus détaillée :
- La version préliminaire de l’évaluation du programme d’amélioration des scénarios relatifs aux changements climatiques a montré que, depuis 2007, les téléchargements de données et les demandes de données sur les sites Internet du programme ont, dans l’ensemble, augmenté. De plus, selon les éléments probants, la sensibilisation des publics cibles et la disponibilité des données et des études sur les changements climatiques et l’accès à celles‑ci ont augmenté, grâce à l’accessibilité des publications des scientifiques du programme sur ses sites Internet, ainsi qu’à des séances de formation sur la manière d’utiliser les données sur les scénarios relatifs aux changements climatiques et les renseignements sur les risques et les extrêmes climatiques.
- Dans l’évaluation de la CAS, on a noté que le site Internet de la CAS est opérationnel. L’ensemble de la population y a accès. De plus, l’analyse des requêtes sur le site Internet pilote de la CAS à Toronto a révélé un intérêt croissant quant à l’obtention de données relatives à la CAS.
- L’évaluation formative du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier a trouvé des éléments probants précoces montrant que le programme assure une expertise technique dans les collectivités nordiques et que les projets produisent des données sur l’adaptation aux changements climatiques accessibles et pertinentes pour ces collectivités.
- Dans le cadre de l’évaluation du programme Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites, on a découvert des éléments probants précoces relativement à un accès accru aux outils et à l’information grâce à du matériel d’information et à des publications créés dans le cadre du programme, à des vidéos et à d’autre matériel d’information conçus pour augmenter la sensibilisation aux risques relatifs aux changements climatiques. Ce matériel a été créé par les collectivités et organisations nordiques.
- Dans le cadre de l’évaluation du projet de résistance à la chaleur, on peut noter que les données du programme ont été présentées à différentes conférences à l’échelle du Canada, et que le programme a collaboré avec MétéoMédia pour produire des capsules sur la chaleur. De plus, le programme a présenté aux programmes pilotes de l’information sur la santé en période de chaleur, et a créé, en collaboration avec deux comités consultatifs de programme externes, une stratégie de sensibilisation à dévoiler après 2011.
Capacité accrue d’exécuter et d'appliquer des principes scientifiques
Selon les éléments probants sur la capacité accrue d’exécuter et d'appliquer des principes scientifiques présentés dans les rapports d’évaluation, les programmes du thème Adaptation ont créé de nouvelles données scientifiques, ainsi que des outils et des techniques pour appliquer la science de l’adaptation aux changements climatiques, comme ceux illustrés dans les exemples suivants :
- Selon des éléments probants de l’évaluation formative du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier, les collectivités nordiques évaluent les risques et les possibilités liés aux changements climatiques, et définissent les priorités en matière d’adaptation.
- Selon des éléments probants de l’évaluation du programme d’amélioration des scénarios relatifs aux changements climatiques, il y a une hausse de l’utilisation des sites Internet du programme et des modèles cibles. Cependant, on note aussi dans l’évaluation qu’une hausse de la capacité des populations ciblées à réaliser des études sur l’incidence des changements climatiques et l’adaptation à ceux‑ci dépend grandement du groupe ciblé. Les personnes interrogées ont déclaré que la disponibilité des modèles sur les changements climatiques et les séances de formation fournies par le programme ont contribué à accroître la capacité des scientifiques à réaliser leurs propres études sur l’incidence des changements climatiques et l’adaptation à ceux‑ci. Cependant, la documentation montre que les chefs des collectivités ont encore besoin de l’expertise des agents du programme pour utiliser et appliquer les données climatiques spécialisées, et pour comprendre ces données dans un contexte plus large lorsqu’il faut créer des stratégies pour réduire la vulnérabilité face aux changements climatiques.
Une plus grande collaboration pour aborder les enjeux relatifs aux changements climatiques
Les éléments probants présentés dans les évaluations individuelles semblent indiquer que les programmes du thème Adaptation ont réussi à créer des approches de collaboration initiale pour aborder les enjeux de l’adaptation aux changements climatiques. Par exemple :
- la création de deux comités consultatifs externes pour le projet de résistance à la chaleur afin d’offrir une orientation stratégique sur les composantes principales de ce projet et de déterminer les lacunes en matière d’information et les sujets de recherche, en plus de la formation de quatre comités consultatifs dans chaque collectivité pilote pour soutenir la collaboration d’intervenants et de partenaires locaux ou régionaux qui mettent en œuvre les systèmes pilotes d’alerte et d’intervention en cas de chaleur;
- des accords provinciaux pour mettre en œuvre la CAS dans 9 provinces sur 10, y compris des partenariats avec des ONG dans ces provinces, et une entente de partenariat avec MétéoMédia pour lancer la CAS dans la majorité des régions métropolitaines au Canada;
- une collaboration avec divers groupes autochtones (p. ex. l’Assemblée des Premières nations) et AINC pour soutenir le travail réalisé dans le cadre du programme Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites;
- la collaboration en matière de recherche avec d’autres ministères, des organisations provinciales, des organismes de recherche et des universités, des organisations non gouvernementales, des partenaires internationaux et l’industrie a été mentionnée dans la version préliminaire de l’évaluation du programme d’amélioration des scénarios relatifs aux changements climatiques.
De plus, les éléments probants présentés dans l’évaluation formative du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier indiquent qu’un vaste groupe d’intervenants, comme des scientifiques, des conseillers, des experts et des collectivités, collaborent pour réaliser des projets d’adaptation aux changements climatiques. On a noté que ces collaborations ont permis de créer un réseau solide de chercheurs et de collectivités intéressés par l’adaptation aux changements climatiques.
Résultats intermédiaires
On n’a pas fait grandement état des éléments probants des résultats intermédiaires dans les évaluations individuelles du programme, en raison des limites relatives à la mise en œuvre prématurée du programme mentionnée précédemment. Dans l’ensemble, les éléments probants présentés étaient de nature conjecturale et se fondaient sur des sources indirectes (p. ex. le personnel du programme qui commentait l’utilisation d’outils d’adaptation par d’autres groupes). Ces données restreintes ne doivent pas laisser entendre un rendement limité ou mauvais. La mise en œuvre du programme n’est pas assez large pour permettre d’atteindre les objectifs prévus pour des enjeux complexes, comme le changement de comportement ou la capacité de la collectivité11. Finalement, comme on l’a noté ailleurs dans le rapport, les constatations de l’examen de l’évaluation du thème Adaptation se fondent sur des évaluations qui sont à des étapes différentes de leur réalisation12. Les constatations suivantes sont donc présentées à un niveau général. Ils sont fondés sur une évaluation des données actuellement disponibles.
Utilisation accrue d'information et de produits
En ce moment, les éléments probants sur l’utilisation accrue des données et des produits laissent entendre une utilisation accrue chez les groupes clairement intéressés par l’utilisation des produits et des données sur l’adaptation ou par des incitatifs à les utiliser.
- Par exemple, dans la version préliminaire de l’évaluation du programme d’amélioration des scénarios relatifs aux changements climatiques, on fait état que, même si l’accès aux sites Internet du programme a augmenté au cours des deux dernières années, il a été difficile de déterminer comment ils ont été utilisés. Même si on dit que les chercheurs scientifiques ont accédé aux données et aux renseignements sur les changements climatiques et les ont utilisés, d’autres groupes cibles ayant une capacité technique ou scientifique moindre (p. ex. les ingénieurs, les municipalités, les organismes de gestion des ressources et de planification des risques) peuvent être incapables d’utiliser ces données sans consulter des experts du climat.
- Les collectivités identifiées dans l’évaluation formative du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier évaluaient les risques et possibilités liées aux changements climatiques et définissaient les priorités en matière d’adaptation. Tandis que les projets ont permis de créer des outils d’adaptation, il n’existe aucun processus en place pour suivre la manière dont ils sont utilisés. L’évaluation n’a pas trouvé de preuves à l’effet que les décisions quant à la planification se fondent sur les risques et possibilités déterminées, ou que les données sur les changements climatiques ou l’adaptation sont intégrées aux processus de planification et décisionnels. On approfondira cette enjeu dans l’évaluation sommative du programme.
- Les répondants à l’enquête de référence nationale sur l’adaptation aux changements climatiques, comme les personnes appartenant au gouvernement non fédéral et les entreprises qui font partie du groupe d’intervenants du programme de RNCan, ont aussi indiqué que le manque d’expertise organisationnelle sur le plan des changements climatiques représente un des principaux obstacles à l’intégration des enjeux concernant l’adaptation aux changements climatiques au processus décisionnel.
- Finalement, les personnes interrogées dans le cadre de l’évaluation de la CAS ont indiqué que son utilisation accrue était particulièrement remarquable chez les groupes vulnérables qui utilisaient les données pour faire des choix quant aux activités extérieures.
Regroupés, les résultats semblent indiquer que l’utilisation actuelle des données et produits sur l’adaptation est restreinte aux groupes qui manifestent un intérêt immédiat à l’égard de l’incidence des changements climatiques (p. ex. les scientifiques ou les personnes vulnérables aux effets négatifs sur la santé). De plus, il semble qu’il existe des possibilités d’élargir l’utilisation de ces données et produits. Du travail d’évaluation additionnel sera nécessaire pour évaluer pleinement et de manière fiable cette constatation.
Sensibilisation accrue aux risques
Selon les éléments probants des évaluations du programme, il y a une hausse de la sensibilisation aux risques causés par une mauvaise qualité de l’air et des changements climatiques. Tout comme dans le cas de l’utilisation accrue du résultat intermédiaire, c’est principalement restreint à des populations cibles spécifiques (p. ex. les scientifiques s’intéressant au climat, les personnes vulnérables à la pollution atmosphérique).
Cependant, les résultats de l’enquête de référence nationale sur l’adaptation aux changements climatiques ont révélé un aspect associé aux risques que les évaluations individuelles n’ont pas étudié. Les résultats du sondage suggèrent que plusieurs partenaires gouvernementaux non fédéraux et commerciaux ne font pas de distinction entre l’approche fédérale à l’égard de l’adaptation aux changements climatiques (p. ex. les politiques visant à réduire les risques pour la population canadienne en raison des changements climatiques) et l’approche fédérale à l’égard de l’atténuation des changements climatiques (p. ex. les politiques visant à réduire les émissions de GES ou la pollution atmosphérique). Par conséquent, les intervenants externes peuvent encore s’attendre à ce que les politiques d’adaptation fédérales abordent les enjeux d’atténuation des changements climatiques au lieu des enjeux associés à la gestion des risques, comme la planification des événements météorologiques extrêmes ou les changements éventuels aux codes du bâtiment.
Capacité accrue d'intervenir auprès des populations cibles sur les enjeux du changement climatique et de la qualité de l’air
Selon des éléments probants d’évaluations individuelles du programme, il y a une capacité croissante d’agir sur le plan des enjeux relatifs aux changements climatiques et à la qualité de l’air chez les populations cibles. Par exemple :
- les collectivités nordiques évaluent les risques et les possibilités relatifs aux changements climatiques et définissent des priorités en matière d’adaptation;
- les personnes vulnérables à la mauvaise qualité de l’air prennent des mesures pour réduire les risques;
- des partenaires régionaux et municipaux, autant au sein du gouvernement que dans l’industrie, créent des stratégies et des plans d’adaptation dans leur organisation (p. ex. réduction de la vulnérabilité de l’infrastructure, création de programmes pour les périodes de chaleur extrême, changements apportés aux activités régionales pour aborder le risque accru d’incendies de forêts).
Cependant, la capacité peut être évaluée différemment par diverses populations cibles. Par exemple, la capacité des collectivités rurales à s’adapter à une baisse des précipitations ou la capacité des collectivités nordiques de s’adapter à une hausse du niveau de la mer diffèrent, sur le plan qualitatif et le plan quantitatif, de la capacité d’une personne de modifier son comportement en fonction de données sur la chaleur extrême ou la qualité de l’air. Comme pour les autres résultats thématiques intermédiaires, même si les éléments probants précoces illustrent une prise de mesures positives pour accroître la capacité, il faut accomplir du travail d’évaluation additionnel pour évaluer pleinement et de manière fiable cet extrant.
D'autres approches d'adaptation aux changements climatiques sont élaborées dans les domaines cibles par les instances appropriées
Selon les éléments probants des évaluations du programme, il est trop tôt pour évaluer cette constatation.
Enjeu d’évaluation : Rendement
Source(s) de données
Cote
5. Existe‑t‑il des moyens plus rentables, économiques et efficient d’atteindre les objectifs du thème Adaptation?
Éléments probants des évaluations du programme
s.o.
6. Comment l’efficience peut‑elle être améliorée dans le cadre du thème Adaptation?
Éléments probants des évaluations du programme
s.o.
À cette étape‑ci, on dispose, dans l’ensemble, de peu d’information pour tirer des conclusions thématiques sur l’efficience et l’économie. Les éléments probants des évaluations n’ont pas encore été recueillis, ou se fondent sur des données qualitatives en raison de problèmes à établir la relation entre données financières sur les extrants (efficience) et les résultats (économie). On ne dispose pas d’éléments probants suffisants dans les évaluations du programme pour tirer des conclusions fiables.
Enjeu d’évaluation : Rendement
Source(s) de données
Cote
7. Dans quelle mesure chaque activité du thème Adaptation a‑t‑elle été mise en œuvre ou est‑elle en voie d’être mise en œuvre comme prévu?
Éléments probants des évaluations du programme
Éléments probants des rapports financiers thématiques
Progrès réalisés, attention requise
Selon les éléments probants des évaluations individuelles du programme et des rapports financiers thématiques, les programmes sont, dans l’ensemble, mis en œuvre comme on l’avait planifié, même si chaque évaluation faisait état de défis uniques.
Le thème Adaptation a fait état de dépenses planifiées et réelles par l’entremise du cadre horizontal de gestion, de responsabilisation et de rapport (CHGRR) du PQA. Les résultats ont été rapportés dans deux rapports consécutifs sur le rendement ministériel d’Environnement Canada (voir le tableau 3). Selon les données financières, la première année de mise en œuvre était, dans la plupart des cas, l’exercice financier de 2008‑2009. Cela souligne le début tardif de la mise en œuvre noté dans un certain nombre d’évaluations individuelles du programme. Lors de la première année entière de mise en œuvre du thème (2008‑2009), on a constaté une utilisation de la majorité des ressources attribuées, soit d’environ 68 p. cent des ressources planifiées utilisées par le programme d’amélioration des scénarios relatifs aux changements climatiques13 à 88 p. cent des ressources planifiées utilisées par le programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier. Ces résultats illustrent que la mise en œuvre planifiée des programmes du thème Adaptation semble avancer. Cependant, il est trop tôt pour faire une évaluation complète, puisque les données sur l’utilisation des ressources par tous les programmes durant l’exercice de 2009‑2010 n’étaient pas accessibles lors de l’examen de l’évaluation de l’adaptation14.
Tableau 3. Dépenses du thème Adaptation : Prévues et réelles (en milliers de dollars)
Selon les éléments probants des évaluations du programme, les programmes ont, dans l’ensemble, été mis en œuvre tel que planifié, y compris des éléments probants à l’effet que :
- la CAS devrait être mise en place tel qu’on l’a planifié; cependant, on a indiqué qu’il y a des risques continue quant à la mise en œuvre en Ontario, au Québec et surtout en Alberta;
- le programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier et le programme Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites devraient, dans l’ensemble, être mis en place tel qu’on l’a planifié, en raison du financement des projets appuyant les objectifs du programme, soit d’évaluer et de déterminer les risques et les possibilités relatifs aux changements climatiques, et de créer des plans d’adaptation aux changements climatiques;
- le programme d’amélioration des scénarios relatifs aux changements climatiques devrait, dans l’ensemble, être mis en place tel qu’on l’a planifié, même si on ne sait pas si la mise en œuvre complète aura lieu durant le calendrier d’exécution du programme;
- le projet de résistance à la chaleur devrait, dans l’ensemble, être mis en place tel qu’on l’a planifié. Ils ont créé un cadre pour gérer ses activités et ses progrès, ainsi qu’un plan stratégique, un plan de mise en œuvre du projet et un plan d’évaluation.
Enjeu d’évaluation : Rendement
Source(s) de données
Cote
8. La structure de gestion et de responsabilité pour le thème Adaptation est‑elle bien établie et fonctionne‑t‑elle comme prévu?
Mesure dans laquelle les gestionnaires de programme ont indiqué que la structure de gestion et de responsabilité du thème est en place et fonctionne tel que prévu.
Progrès réalisés, attention requise
Dans l’ensemble, les personnes interrogées ont déclaré que la structure de gouvernance et de responsabilité prévue était en place et fonctionnait. Cependant, on a noté plusieurs domaines à améliorer.
- Selon les personnes interrogées, le thème Adaptation a été créé plus tard durant le processus du Programme sur la qualité de l’air (c’est‑à‑dire après l’élaboration des autres thèmes), et n’était pas aussi cohésif que les autres thèmes du PQA. Pour décrire le thème Adaptation, les intervenants ont employé fréquemment le terme « improviser ». Cependant, les intervenants internes ont aussi noté qu’il faut considérer ces programmes comme un ensemble initial de programmes d’adaptation, car l’orientation stratégique quant à l’adaptation n’a pas été finalisée. On note aussi une variation importante quant à la portée et à la mesure des programmes individuels. Par exemple, certains programmes visent des enjeux spécifiques à des régions (p. ex. le Nord) et se fient à une participation énorme de la collectivité, tandis que d’autres sont des programmes scientifiques classiques qui recueillent des données sur les changements climatiques à l’échelle mondiale. De plus, un programme important du thème Adaptation, la CAS, n’est pas vraiment un programme d’adaptation, puisque son objectif est de promouvoir la santé des personnes en fonction de données météorologiques, au lieu de créer des stratégies pour réduire le risque en se fondant sur des données sur les changements climatiques.
- Malgré ce manque de cohésion noté, les gestionnaires de programmes de tous les ministères ont fait des commentaires semblables sur le fonctionnement efficace de la structure de gouvernance du thème. Ils ont fait état des points suivants :
- Le thème dispose d’un Comité de gestion des directeurs généraux (CGDG) qui se réunit régulièrement pour faire des mises à jour sur les progrès du programme, et pour discuter des enjeux sur les rapports et la gouvernance du PQA. Tous les ministères participent aux réunions du CGDG, même si on a aussi noté qu’habituellement, c’est le personnel du programme qui est présent lors des réunions, pas les gestionnaires de haut niveau.
- Chaque année, le président du CGDG change. On alterne d’un ministère à l’autre. Cette pratique a été adoptée pour assurer un partenariat égal, et a été louangée par tous les répondants.
- Le CGDG pourrait être encore plus efficace s’il mettait l’accent sur des enjeux scientifiques et stratégiques d’avenir concernant l’adaptation, au lieu des enjeux opérationnels et administratifs discutés habituellement.
- Il existe des éléments probants initiaux à l’effet qu’il y a une collaboration et une coordination entre les programmes, comme le travail de collaboration entre AINC et SC sur les enjeux d’adaptation dans les collectivités nordiques.
- Parmi les défis principaux notés par les répondants, il y a les exigences en matière de rapports financiers et non financiers requis du thème. Cependant, ils ont aussi noté que, malgré les ressources utilisées pour faire des rapports thématiques, le processus de production de rapports a simplifié la diffusion de mises à jour sur l’état du rendement financier et non financier à la haute direction des ministres. Cela a aussi permis d’accroître la visibilité du thème et de ses objectifs.
- Dans l’ensemble, les répondants ont aussi noté qu’ils sont incertains de l’avenir du thème Adaptation, puisque le financement devrait prendre fin en mars 2011 et aucun plan officiel visant la poursuite des travaux n’a été offert16.
Enjeu d’évaluation : Rendement
Source(s) de données
Cote
9. Quelles sont les pratiques exemplaires ou les leçons apprises des activités liées au thème Adaptation?
Évaluations individuelles du programme
s.o.
En ce qui a trait aux leçons apprises ou aux pratiques exemplaires, il y a peu d’éléments probants à mentionner pour le thème Adaptation, puisqu’ils étaient, dans l’ensemble, spécifiques aux programmes, à cause peut‑être de la variation notée quant à la portée et à la mesure des programmes individuels. On dispose de suggestions spécifiques faites durant les évaluations dans chaque rapport d’évaluation individuelle. Il est intéressant de noter un certain nombre de leçons apprises découlant de quelques évaluations qui semblent aborder des enjeux thématiques, tout particulièrement celles sur l’importance d’assurer la participation des intervenants externes, et celles reconnaissant que l’adaptation fait partie d’un lot de priorités concurrentielles et que tous les partenaires devront déployer des efforts durables pour aborder les enjeux.
- Les intervenants ayant participé à l’évaluation du programme d’aide aux résidants du Nord pour évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier ont déterminé que les leçons apprises suivantes pourraient aider à améliorer l’approche du gouvernement fédéral à l’égard du programme d’adaptation :
- il faut répéter le message sur les changements climatiques;
- les collectivités doivent aborder plusieurs priorités autres que les changements climatiques;
- les obstacles juridictionnels peuvent compliquer le déroulement de la recherche;
- l’adaptation prend du temps; et
- les collectivités ont besoin de ressources additionnelles pour mettre en œuvre leurs plans d’adaptation.
- Selon les gestionnaires et le personnel de la CAS, il est très efficace d’utiliser des partenaires locaux comme agents de sensibilisation au nom du programme. Cela permet de joindre des populations vulnérables et ciblées qu’on n’aurait pas pu joindre autrement. De plus, cela permet d’élargir le réseau de partenaires du gouvernement et des ONG participant à la promotion et à l’élaboration de la CAS.
- Les gestionnaires et le personnel du programme d’amélioration des scénarios relatifs aux changements climatiques ont noté les pratiques exemplaires suivantes :
- Accroître la capacité scientifique interne. En recrutant de nouveaux employés, on permet le transfert des connaissances des scientifiques de niveau supérieur, et on aide le programme à atteindre ses objectifs et à réaliser les activités prévues durant la période de financement.
- S’associer à la communauté canadienne de recherche sur le climat, et créer des liens avec elle. Parmi les forces du programme, on compte les synergies créées avec les réseaux de recherche dans les universités, les groupes de recherche régionaux et le personnel régional d’Environnement Canada, ce qui améliore la capacité de recherche et réduit le chevauchement des efforts.
- Mettre en œuvre des ateliers de formation qui visent à enseigner aux chercheurs et à d’autres utilisateurs cibles comment accéder aux données se trouvant sur le site Internet du programme et les utiliser17.
10 Comme on l’a noté plus tôt, seulement quatre évaluations étaient terminées lors de l’examen de l’évaluation. De ce nombre, seulement deux avaient été approuvées par leur comité d’évaluation ministériel respectif. On a aussi tiré les constatations de l’examen de l’évaluation des constatations préliminaires de deux évaluations du programme en cours, ainsi que d’un sondage auprès des intervenants qui a servi à des fins de mesure du rendement.
11 Annemoon et al. ont noté, dans l’article « Evaluating the Effectiveness of Air Quality Interventions » (Journal of Toxicology and Environmental Health, Part A, 71: 583–587, 2008), « qu’on peut prévoir des défis considérables lors de l’évaluation de l’incidence sur la santé des règlements sur la qualité de l’air. Par exemple, les règlements entrent en vigueur à différents moments. Ils sont mis en œuvre à différents échelons du gouvernement. Les évaluations sont réalisées à différentes échelles de temps et à l’échelle nationale, à l’échelle régionale ou à l’échelle locale. De plus, d’autres changements peuvent être apportés, par exemple, sur le plan de l’activité économique ou au niveau du comportement individuel, comme les gens qui restent à l’intérieur lorsque le niveau de pollution est élevé. Finalement, il faut tenir compte des autres causes d’effets négatifs sur la santé attribuables à la pollution atmosphérique. Ces défis deviennent plus importants lorsque les règlements sont mis en œuvre sur une longue période et qu’on ne constate pas immédiatement les améliorations quant à la qualité de l’air et aux effets négatifs sur la santé, ce qui augmente le risque de confusion avec d’autres facteurs de risque ».
12 Comme on l’a noté plus tôt, seulement quatre évaluations étaient terminées lors de l’examen de l’évaluation. De ce nombre, seulement deux avaient été approuvées par leur comité d’évaluation ministériel respectif. On a aussi tiré les constatations de l’examen de l’évaluation des constatations préliminaires de deux évaluations du programme en cours, ainsi que d’un sondage auprès des intervenants qui a servi à des fins de mesure du rendement.
13 Le financement pour ce programme n’a été fait qu’à l’automne.
14 Les données financières pour l’exercice 2009‑2010 feront l’objet d’un rapport indépendant à l’été 2010, et seront intégrées à l’évaluation horizontale du PQA.
16 RNCan a obtenu une prolongation d’un an (2011‑2012) pour ses programmes au moment de l’évaluation. Cependant, cette prolongation était une nouvelle définition du profil des fonds existants. Elle n’inclut donc pas de nouvelles ressources.
17 Les répondants externes et les évaluations des ateliers de formation laissent entendre que ces séances ont été très utiles. Elles permettent de joindre plusieurs membres de la population cible en même temps, ce qui aide le personnel chargé d’expliquer comment utiliser les sites Internet à économiser temps et efforts.
Précédent | Table des Matières | Suivant