Évaluation du projet de transition du Service météorologique du Canada (SMC)

Juillet 2008

3.0 CONCEPTION DE L’ÉVALUATION

3.1 Objet et portée

L’évaluation avait pour but de mesurer les efforts de modernisation du Service météorologique du Canada (projet de transition du Service météorologique du Canada sur le plan du succès, du rendement et de la pertinence. L’évaluation aidera le Conseil des services météorologiques et environnementaux (CSME) et le Comité exécutif de gestion du Ministère à choisir les mesures à prendre et l’orientation à donner aux efforts de modernisation.

L’évaluation visait plus particulièrement à élaborer des recommandations après avoir déterminé :

si les objectifs du projet de transition cadraient avec les priorités fédérales et s’ils ont répondus aux besoins réels (pertinence);
si le projet de transition a atteint les résultats prévus (succès);
si l’on a utilisé les moyens les plus appropriés et les plus efficaces pour obtenir les résultats prévus (rentabilité et moyens de rechange);
si le projet de transition a été exécuté de la meilleure façon possible (conception et exécution).

L’évaluation a porté sur la période quinquennale du projet de transition comprise entre les exercices financiers 2003-2004 et 2007-2008.¹¹ Nous avons aussi examiné et documenté les activités réalisées antérieurement, les facteurs contextuels et d’autres questions soulevées juste avant le projet de transition. L’évaluation ne tient pas compte des initiatives qui ne sont pas financées dans le cadre du projet de transition.

3.2 Méthodologie et approche de l’évaluation

En 2005, le sous-ministre adjoint du Service météorologique du Canada a approuvé un cadre d’évaluation du projet de transition du Service météorologique du Canada. Le cadre comportait un modèle logique, des mesures du rendement et une stratégie d’évaluation.

La présente évaluation reprend le modèle logique et les mesures de rendement de 2005 et est fondée sur les enjeux d’évaluation et les sources d’information présentés dans le cadre d’évaluation. Les enjeux et les questions d’évaluation, les réponses attendues, les indicateurs, les sources d’information et les méthodes utilisées pour recueillir les données sont présentés à l’annexe B. L’annexe C contient un tableau qui illustre comment les sept questions relatives à l’examen des dépenses sont abordées par le biais des questions d’évaluation.

L’évaluation comportait l’utilisation de diverses sources de données. Le tableau 2 contient une description de ces approches méthodologiques

Tableau 2: Approches méthodologiques


Méthode	Description
Étude des documents et des dossiers	Une analyse et un examen internes des documents se rapportant au projet de transition ont été effectués. Au nombre des documents étudiés, mentionnons des dossiers de projet, des rapports d’étape et des rapports finaux, des documents des Conseils, des registres de correspondance clés, des analyses et des systèmes de données pertinents, de même que des données financières. Au besoin, certains thèmes ont fait l’objet d’une recherche plus approfondie. Une liste des principaux documents se trouve à l’annexe D.
Données secondaires et rapports	Même si elle n’avait pas été prevue dans le plan de la présente évaluation, cette méthode a servi à recueillir des données financières et relatives au rendement en raison des difficultés rencontrées pour trouver des rapports sur quelques activités, extrants et résultats, et ressources (prévues au budget et utilisées) dans le cadre du projet. Les renseignements complémentaires ont été fournis par les répondants d’Environnement Canada, soit par courriel ou dans des rapports qu’ils ont préparés pour les besoins de l’évaluation. Dans le présent rapport d’évaluation, on appelle ces renseignements « Données secondaires et rapports ».
Analyse des reportages des médias	Une analyse des reportages des médias a été réalisée afin de fournir de l’information sur l’avis des intervenants à l’égard des répercussions de l’initiative. Pour ce faire, nous avons utilisé GreenInSight comme principal outil de recherche pour les articles sur le Service météorologique du Canada. Par la suite, la recherche a été restreinte pour cibler uniquement les articles sur les thèmes relatifs au projet de transition. Compte tenu du nombre limité des archives de GreenInSight, cette recherche porte sur les articles parus entre janvier 2005 et septembre 2007 seulement. Les articles diffusés en 2003 et en 2004 ont été trouvés à l’aide des moteurs de recherche du Globe and Mail et de Google News. Au total, 29 articles ont été trouvés et analysés.
Analyse des sondages	Dans le cadre de l’évaluation, nous avons procédé à l’examen de quatre sondages réalisés pour le compte du Service météorologique du Canada par des consultants indépendants. . Il y avait deux sondages d’opinion publique nationaux (appelés Sondage I dans le tableau des questions à l'annexe B) ) et deux enquêtes auprès des employés sur la transition du Service météorologique du Canada (appelées Sondage II dans le tableau des questions à l’annexe B).¹² Les sondages suivants ont été analysés : Sondage national sur les produits et les services météorologiques - 2002¹³ Sondage national sur les produits et les services des Services météorologiques et environnementaux - 2007¹⁴ (Ébauche) Enquête auprès des employés sur la transition du Service météorologique du Canada - 2003¹⁵ Enquête auprès des employés sur la transition du Service météorologique du Canada - 2004¹⁶
Entrevues	Afin de recueillir les observations des principaux partenaires¹⁷ et intervenants, 58 entrevues ont été menées à l’interne avec des répondants clés des catégories suivantes : personnel de programme d’Environnement Canada (20); cadres supérieurs d’Environnement Canada (11); partenaires internes d’Environnement Canada (5); partenaires et intervenants fédéraux (5); partenaires et intervenants non fédéraux (10); intervenants provinciaux et municipaux (6) ; partenaires et intervenants internationaux (1). Le répertoire des questions d’entrevues est présenté à l’annexe E. Des guides d’entrevue qui renferment des questions s’adressant à chaque groupe d’intervenants ont été élaborés à partir de la liste type des questions d’entrevue. Certaines questions ne visaient que de petits sous-groupes de spécialistes qui, pour la plupart, avaient participé à la conception ou à la mise en œuvre du projet durant la majeure partie de celui-ci.
Ateliers avec animateur auxquels ont participé des employés d’Environnement Canada	Trois ateliers auxquels ont participé 47 personnes, dont des membres du personnel et des cadres, ont eu lieu afin d’évaluer et de comparer les points de vue des gestionnaires de programme et des employés venant de différents secteurs de l’organisation sur des thèmes liés au renforcement des liens entre la production, la science et le service¹⁸ Les trois ateliers avec des participants ont été tenus à Dartmouth, à Montréal et à Edmonton. Sept participants de Winnipeg ont pris part à l’atelier d’Edmonton par téléconférence¹⁹

Cotes des enjeux et des questions d’évaluation

L’annexe F contient un résumé des cotes associées aux enjeux et aux questions d’évaluation. Les cotes sont basées sur une évaluation des résultats en fonction des facteurs suivants :

les résultats prévus ont été atteints²⁰ ;
les résultats prévus ont été atteints, mais ils sont fondés sur des données subjectives uniquement;²¹
des progrès importants ont été réalisés pour atteindre les résultats voulus, mais on doit encore y porter attention²²;
les progrès réalisés pour obtenir les résultats prévus sont minces et on doit y attacher une attention prioritaire²³.

La colonne intitulée « trop tôt pour savoir » signifie que, même si les résultats immédiats sont atteints, il est trop tôt pour constater les répercussions à long terme de ces résultats. La colonne « sans objet » indique les éléments auxquels une cote ne s’appliquait pas.

Limites de l’évaluation

Quatre limites particulières sont associées à cette évaluation. L’évaluation tient compte de ces limites en s’appuyant sur les points de vue qualitatifs²⁴des intervenants.

Même si le projet a permis de recueillir de l’information à l’échelle, la collecte des données concernant la façon dont les activités ou les extrants ont favorisé l’atteinte des résultats immédiats et ultimes n’a pas été effectuée de manière uniforme. Par conséquent, toutes les réalisations du projet n’ont pu faire l’objet d’un compte rendu.
Bon nombre des activités et des extrants ne font que commencer à montrer des résultats (p. ex., les résultats opérationnels de la prévision ne sont parfois visibles qu’après plusieurs années). Par conséquent, il a fallu souvent fonder l’évaluation sur les renseignements fournis lors des entrevues et non sur les rapports.
Le financement versé dans le cadre du projet de transition du Service météorologique du Canada venait s’ajouter à du financement voté et à d’autres programmes météorologiques permanents ciblés. Par conséquent, il a été difficile pour les employés d’Environment Canada à certains moments, de faire une distinction entre les répercussions du projet de transition et celles d’autres programmes.
Le système d’information financière ne précise pas le montant du financement reçu du Secrétariat du Conseil du Trésor et, après l’exercice 2005-2006, il ne fait plus de distinction entre l’utilisation des fonds du Secrétariat du Conseil du Trésor et l’utilisation d’autres crédits de services votés. Par conséquent, il a été impossible de présenter une vue d’ensemble de l’affectation et de l’utilisation des fonds du Secrétariat du Conseil du Trésor et du Ministère.

| TdesM | Précédent | Suivant |

¹¹ À moins d’un avis contraire, nous avons utilisé les données disponibles en date du 22 février 2008 pour couvrir l’exercice 2007-2008.

¹² Nota : Même si une enquête a également été menée auprès des employés en 2007 au sujet de la transition du Service météorologique du Canada les résultats de celle-ci n’ont pu être inclus dans l’évaluation car ils n’étaient pas disponibles à ce moment.

¹³ Réalisé par le Centre de recherche Décima Inc.

¹⁴ Réalisé par EKOS Research Associates Inc.

¹⁵ Réalisé par Environics Research Group

¹⁶ Réalisé par Environics Research Group

¹⁷ Dans ce rapport, le terme « partenaire » est utilise au sens général plutôt qu’au sens juridique.

¹⁸ Le renforcement des liens entre la production, la science et le service fait partie des résultats ultimes identifiés dans le modèle logique de la transition du Service météorologique du Canada (se reporter à la figure 1, section 2.2).

¹⁹ Compte tenu des endroits où les ateliers ont eu lieu, il est mentionné dans le rapport final sur les ateliers que « les opinions des gestionnaires et des employés des Centres de prévision des tempêtes de Vancouver, Toronto et Gander ne figurent pas dans cette recherche ». (Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada: Rapport final, p. 4.)

²⁰ Marqué d’un « √ » dans le tableau sommaire à l’annexe F et coté Atteint dans la section Constatations.

²¹ Marqué d’un « ~√ » dans le tableau sommaire à l’annexe F et coté « ~Atteint » dans la section Constatations.

²² Coté Progrès réalisés, attention requise dans la section Constatations.

²³ Coté Peu de progrès réalisés, attention requise dans la section Constatations.

²⁴ Opinions qualitatives = opinions.