1.0 OBJET

Le présent document de travail vise à faire présenter les résultats définitifs de l’analyse des risques et des possibilités menée par la Direction générale de la vérification et de l’évaluation (V&É) dans le cadre du processus de planification de la vérification et de l’évaluation pour la période allant de 2006-2007 à 2008-2009. Cette analyse a été effectuée afin de faciliter la discussion stratégique à la réunion du 24 novembre 2005 du Comité ministériel de vérification et d’évaluation (CMVE). Les commentaires et les suggestions des membres du Comité ont été pris en considération dans le présent document.

La présente analyse des risques et des possibilités fournit les éléments de la sélection d’éventuels projets d’évaluation et missions de vérification devant faire l’objet de consultations avec les conseils et la haute direction du Ministère. Il s’agit d’une analyse ascendante des risques que comportent les activités ministérielles et non pas d’une analyse des risques au niveau de l’organisation. Cependant, les résultats de cette analyse sont en voie d’être étudiés en vue de l’établissement du profil de risques du Ministère dont les membres du Conseil exécutif de gestion ont prévu de discuter en janvier 2006.

2.0  MÉTHODOLOGIE

Une équipe de vérificateurs et d’évaluateurs internes du Ministère a analysé les 35 regroupements de projets axés sur les résultats (RPAR) en se fondant sur la documentation suivante :

• présentation sur l’Aperçu des priorités des Conseils – 24-26 octobre, 2005;
• présentations des RPAR – 24-26 octobre, 2005; et
• résultats de l’équipe de l’examen indépendant – Octobre 2005.

Cinq critères de risque ont été établis :

• importance relative – p. ex., ressources financières, dépenses de programme;
• profil/transparence/risque d’atteinte à la réputation – p. ex., intérêts ou attentes du public et des médias, réputation du Ministère, réputation au niveau national ou international, facteurs politiques;
• complexité – p. ex., gouvernance interne, partenariats, horizontalité, prestation fédérale/provinciale, attribution et degré de décentralisation;
• menaces à la production de résultats – p. ex., liens ou orientation mal définis; et
• conséquences de la non-production de résultats – p. ex., conséquences sur la santé des humains.

Pour chaque critère de risque, une échelle des catégories de risque (élevé, moyen ou faible) a été établie en fonction d’indicateurs descriptifs (voir l’annexe 1). Chaque RPAR a été évalué à la lumière de chacun de ces critères. On a déterminé, pour chaque RPAR, l’importance du risque en attribuant des valeurs aux catégories de risque de chaque critère (élevé - 3, moyen – 2, faible – 1), en faisant le total pour le RPAR et en classant ensuite ce dernier en fonction de la cote de risque. Par exemple, le RPAR ayant la cote maximale a été considéré comme le risque #1. Les RPAR ont ensuite été groupés par catégories de risque élevé, moyen ou faible; les cotes de 10 ou supérieures équivalant, a-t-on estimé, à un risque élevé.

Diverses analyses de sensibilité ont également été menées pour tester la sensibilité des cotes aux modifications de la pondération relative de chaque critère de risque. En vertu de l’hypothèse de base, une pondération égale a été attribuée à chaque critère de risque. Cinq analyses distinctes de la sensibilité ont été effectuées, dans le cadre desquelles on a doublé la pondération de chacun des cinq critères (un à la fois), recalculé les cotes et, par la suite, réévalué les classements. Aux fins de la sixième analyse de sensibilité effectuée, on a doublé la pondération du critère du profil et de celui des conséquences.

En plus de procéder aux analyses susmentionnées, on s’est demandé si le ministère tirait d’importants avantages stratégiques des évaluations des RPAR ou des programmes faisant partie des RPAR, par exemple, si ces évaluations permettaient de tester s’ils étaient centrés sur le Cadre pour la compétitivité et la durabilité de l’environnement (CCDE) ou d’améliorer la conception et la prestation des programmes.

En se fondant sur ces résultats, on a cerné des risques et des possibilités thématiques transectorielles.

3.0  RÉSULTATS

Le sommaire du classement des risques pour chaque RPAR, y compris des analyses de sensibilité, figure à l’annexe 2.

3.1    Analyse de sensibilité

Le classement des risques des RPAR n’a révélé aucune sensibilité importante aux modifications des pondérations attribuées à chaque critère de risque. Par conséquent, les résultats définitifs récapitulés ci-dessous, sont fondés sur « l’absence de pondération » ou l’hypothèse de base.

3.2    Sommaire des résultats selon le conseil

Le tableau suivant indique le nombre et le pourcentage des RPAR de chaque conseil, en fonction des catégories de risque.

Sommaire du classement des RPAR selon le Conseil

Les résultats de l’évaluation des risques nous apprennent que quatre-vingt pour cent des RPAR du Conseil de la durabilité de l’écosystème, soixante-sept pour cent des RPAR du Conseil des prévisions météorologiques et environnementales et quarante pour cent des RPAR du Conseil de la protection de l’environnement ont été classés dans la catégorie de risque élevé. Voici quelques-uns des facteurs ayant contribué à l’obtention de ces résultats :

• incidence directe ou significative confirmée sur la santé et le bien-être des Canadiens, l’environnement et l’économie;
• exposition médiatique et visibilité significatives;
• risque important d’atteinte à la réputation, à l’échelon national ou international;
• forte dépendance envers de multiples partenaires internes ou externes en vue de la production de résultats;
• exécution extrêmement complexe et décentralisée (c.-à-d. en plus de cinq endroits); et
• caractère imprécis de la nature des liens entre les résultats stratégiques, les résultats intermédiaires, les résultats à court terme (indicateurs), les activités et les réalisations attendues.

En outre, soixante-sept pour cent des RPAR du Conseil des changements climatiques, soixante-deux pour cent des RPAR du Conseil de l’intégration stratégique et soixante-deux pour cent des RPAR du Conseil des services de gestion du ministère ont été classés dans la catégorie de risque moyen. Voici les facteurs ayant contribué à l’obtention de ces résultats :

• incidence sur la santé et le bien-être des Canadiens et l’environnement en majeure partie indirecte bien que fondamentale du point de vue de la gestion des répercussions à long terme;
• risque moyen d’atteinte à la réputation à l’échelon national ou international; et
• exécution assurée en majeure partie par des partenaires internes (les changements climatiques constituant à cet égard une exception notable).

4.0  RISQUES ET POSSIBILITÉS THÉMATIQUES

L’analyse a permis de dégager un certain nombre de thèmes communs, transectoriels.

Contrôles internes

En dépit d’importants progrès, les mécanismes et les processus visant à assurer la saine gestion des ressources humaines et financières du Ministère et l’imputabilité eu égard à celles-ci continuent d’être une priorité nécessitant une attention soutenue.

De plus, en vertu de la nouvelle Politique sur la vérification interne qui entrera en vigueur le 1^er avril 2006, le dirigeant de la vérification doit transmettre au sous-ministre et au comité ministériel de vérification une opinion annuelle globale quant aux contrôles internes.

Obligations

Sur le plan législatif (p. ex., LCPE et LEP), le Ministère a des responsabilités importantes qui ne cessent de croître (p. ex., changements climatiques). De plus, le nombre d’ententes environnementales continue d’augmenter, de nouveaux accords mondiaux, régionaux et bilatéraux étant signés. En vertu d’ententes environnementales multilatérales et internationales, le Canada a pris des engagements relativement à des enjeux mondiaux comme le déversement de produits chimiques, les changements climatiques, l’appauvrissement de l’ozone et la diversité biologique (p. ex, entente internationale relativement à l’Accord de Kyoto, CdP 11 (onzième Conférence des Parties), Convention sur la biodiversité, etc.). Il sera essentiel que le Ministère détermine avec précision si ses ressources sont effectivement centrées sur la réalisation de ces engagements et si, en fait, il n’y aurait pas lieu de repenser ces obligations.

Partenariats

Environnement Canada a systématiquement recours à des partenariats pour produire des résultats. De la sorte, l’organisation a de multiples occasions uniques d’élaborer des programmes communs et de tirer parti des ressources aux fins de l’application de ces derniers. Ces secteurs de programme permettent d’évaluer la pertinence ou l’efficacité des partenariats existants du point de vue de la production des résultats environnementaux. En outre, compte tenu de la complexité financière de certains de ces rapports, les secteurs de programmes justifient la surveillance permanente en vue de garantir la mise en place de responsabilités et de contrôles pertinents.

Gouvernance

Le Ministère est en voie de modifier sa structure et ses processus de gouvernance et de restructurer ses secteurs clés. Une fois en place, la nouvelle structure de gouvernance constituera le point de départ de systèmes de contrôle de gestion efficaces et responsables. Durant la période de transition, il sera important que la haute direction soit consciente des risques et des incertitudes et qu’elle adopte des stratégies d’atténuation.

En conséquence, la gouvernance doit être l’une des priorités de la vérification et de l’évaluation au cours des trois prochaines années.

En outre, à sa réunion du 24 novembre 2005, le CMVE a demandé à Vérification et évaluation de mettre au point un cadre d’évaluation afin d’estimer l’efficacité de la nouvelle structure de gouvernance.

 Insuments

L’analyse des RPAR nous apprend que, pour produire des résultats, Environnement Canada se sert non seulement de règlements mais également d’instruments non réglementaires, comme l’information et l’éducation, et d’accords facultatifs. Cela dit, un bien petit nombre de ceux-ci ont en fait été évalués.

Le Ministère s’est en outre efforcé d’accroître l’utilisation, par le gouvernement fédéral, d’instruments économiques comme les incitatifs fiscaux. Les innovations les plus significatives ont été apportées à la conception de programmes fédéraux visant la réalisation des objectifs du Canada en matière de lutte contre les changements climatiques, par exemple le système de création et d’échange de droits d’émission en vue de la réduction des émissions de gaz à effet de serre.

Ce secteur comporte un risque compte tenu du fait que nous connaissons mal l’efficacité des instruments réglementaires et non réglementaires actuellement utilisés. Il nous donne également l’occasion de tirer un enseignement de l’expérience acquise durant presque vingt ans – et de la mise en œuvre des programmes de lutte contre les changements climatiques axés sur le marché.

 Gestion de l’information

Conserver, protéger et garantir l’accessibilité de l’information sont des éléments clés de la capacité du Ministère de fonctionner efficacement, de s’acquitter de son mandat et de répondre aux besoins en information des Canadiens. L’analyse a mis en lumière l’absence d’une approche globale en matière de gestion de l’information à EC.

La gestion de l’information a été un sujet de préoccupation récurrent au cours des dernières années et continuera de retenir l’attention des cadres. Dans le contexte de la nouvelle structure de gouvernance, le Ministère doit résoudre le problème en mettant en place des contrôles internes efficaces de gestion de l’information.

Mesure du rendement

Une bonne planification du rendement et une bonne communication de l’information à cet égard sont des éléments fondamentaux d’une gouvernance efficace et de la responsabilité devant le Parlement. Les Canadiens veulent également savoir si leur gouvernement leur en a donné pour leur argent, compte tenu des impôts qu’ils ont payés. Le BVG a également signalé le caractère décevant des progrès réalisés en matière de mesure du rendement au sein des ministères fédéraux.

En dépit d’importantes améliorations dans ce domaine, l’analyse a révélé que la plupart des RPAR devaient perfectionner leur position et leur architecture du modèle logique/des résultats afin de clarifier leur rôle et d’indiquer comment ils obtiendront les résultats souhaités, en particulier eu égard au Cadre pour la compétitivité et la durabilité de l’environnement. Les RPAR doivent transmettre l’information nécessaire pour faciliter la prise de décisions et l’attribution des ressources en fonction des priorités les plus pressantes, à l’appui des résultats du CCDE.

Le cadre d’évaluation que le CMVE a approuvé afin de tester si les programmes étaient centrés sur les résultats du CCDE devrait être un outil important qui facilitera la résolution du problème.

5.0   CONCLUSION

La présente analyse permet de croire que toute liste d’éventuels projets d’évaluation et de missions de vérification doit être fondée sur un examen attentif des activités du Conseil de la durabilité de l’écosystème et, dans une moindre mesure, du Conseil des prévisions environnementales et du Conseil de la protection de l’environnement. De plus, on doit mettre l’accent sur les missions de vérification et les projets d’évaluation qui permettent d’atténuer les risques transectoriels ou de tirer parti des possibilités horizontales d’évaluer la pertinence et l’efficacité du programme, tel qu’indiqué ci-dessus.