Page précédente | Table des matières | Page suivante
L’évaluation a été conçue de manière à traiter les sujets d’évaluation courants ayant trait à la pertinence et au rendement des programmes, et à fournir à la haute direction des renseignements sur l’efficacité de la prise de décisions quant aux activités scientifiques du Ministère qui appuient la prévision météorologique. La période examinée s’étend de l’exercice 2007-2008 à l’exercice 2009-2010.
L’évaluation s’est concentrée sur la pertinence et la performance des activités scientifiques venant appuyer la réussite de la prestation de produits et services météorologiques aux clients. Comme il est indiqué dans la section 2.2, la science comprend, pour les besoins de cette évaluation, les activités de recherche et développement, de production et de surveillance, regroupées ensuite dans les catégories « R et D » et « activités scientifiques connexes. »
Afin de bien mesurer la pertinence et le rendement des activités scientifiques, les évaluateurs ont jugé bon d’examiner toutes les activités de la « chaîne d’innovation » du SMC15 (voir Figure 3), y compris toutes les activités de R et D et les activités scientifiques connexes, ainsi que la prestation des produits et services de prévisions météorologiques. L’intégration de la prestation des services dans le cadre de l’évaluation a été dictée par l’hypothèse selon laquelle la « raison d’être » de la prévision météorologique est de produire des renseignements ou des connaissances qui sont transmis aux utilisateurs pour les aider à prendre des décisions éclairées. À ce titre, la réussite de la composante scientifique de la prévision météorologique a donc été déterminée par le degré auquel elle répond aux besoins des utilisateurs.
Figure 3 : Chaîne d’innovation de la prévision météorologique
Par conséquent, l’évaluation s’est concentrée sur la mesure de l’adéquation et de l’efficacité des processus et des fonctions permettant le transfert du savoir scientifique tout au long de la chaîne d’innovation de la prévision météorologique et jusqu’aux utilisateurs finals cibles, plutôt que de chercher à mesurer la qualité des produits et services météorologiques proprement dits.
Comme le montre le tableau 1, cette démarche extérieur-intérieur a documenté les types de questions d’évaluation examinées, ainsi que l’analyse des résultats.
Tableau 1 : Éléments et questions d’évaluation16
Dans quelle mesure existe-t-il un besoin continuel de R et D, de production, de surveillance et de prestation des services pour appuyer la prévision météorologique?
Dans quelle mesure, les activités de R et D, de production et de surveillance et de prestation des services à l’appui de la prévision météorologique sont-elles cohérentes et alignées sur les priorités du gouvernement fédéral et les résultats stratégiques du Ministère?
L’exercice des activités scientifiques pour appuyer la prévision météorologique constitue-t-il un rôle légitime et nécessaire pour le gouvernement?
Dans quelle mesure et dans quelles circonstances les besoins des clients internes et externes en R et D, production, surveillance et prestation des services à l’appui de la prévision météorologique sont-ils satisfaits?
Dans quels cas, contexte et circonstances la méthode actuelle de transfert des connaissances utilisée pour la prévision météorologique fonctionne-t-elle, et pour qui?
Dans quelle mesure et dans quelles circonstances les mécanismes d’établissement de priorités et de prise de décisions, ainsi que les pratiques de R et D, de production, de surveillance et de prestation des services à l’appui de la prévision météorologique répondent-ils aux besoins des clients?
Dans quelle mesure et dans quelles circonstances le SGQ contribue-t-il à l’efficacité des activités de R et D, de production, de surveillance et de prestation des services à l’appui de la prévision météorologique?
Quels facteurs externes influencent les capacités de R et D, de surveillance, de production et de services à l’appui de la prévision météorologique, et de quelle façon?
La valeur obtenue est-elle proportionnelle aux efforts déployés pour les activités de prévisions météorologiques? Existe-t-il des façons plus efficaces de fournir des services scientifiques pour appuyer la prévision météorologique?
Pour cette évaluation, on a utilisé les méthodes de collecte de données décrites ci-dessous.
Étude des documents: L’équipe d’évaluation a examiné les documents importants, au nombre desquels il faut mentionner les lois applicables, les budgets fédéraux, les rapports sur les plans et priorités (RPP), les rapports ministériels sur le rendement (RMR) et les sites Internet des ministères et d’autres sites pertinents, les documents internes sur les programmes, les publications pertinentes et les rapports des vérifications et évaluations antérieures. La liste des principaux documents examinés se trouve à l’annexe 2.17
Entrevues avec des personnes clés : Des entrevues ont été menées afin de recueillir les observations des principaux intervenants et des renseignements détaillés sur la plupart des questions et éléments de l’évaluation. Les entrevues ont été menées en personne (dans la région de la capitale nationale) ou par téléphone, à l’aide d’un guide d’entrevue renfermant les questions s’adressant à chaque groupe d’intervenants.18 L’analyse qualitative des résultats de l’entrevue a été effectuée.19
Le tableau 2 montre le nombre total d’entrevues effectuées par direction / catégorie de personnes interrogées.
Tableau 2 : Entrevues réalisées par direction / catégorie de personnes interrogées
Groupe de répondants
Nombre d’entrevues
Sous-ministres adjoints
2
Direction de la surveillance météorologique et environnementale du SMC
5
Direction OME du SMC
8
Direction des politiques de l’entreprise du SMC
2
Direction PSME du SMC
11
DGST (DSTA)
7
DGDPI
2
Clients externes et pairs
6
Total
43
La présente évaluation repose sur deux catégories de renseignements (les entrevues et l’examen des documents) et elle n’a pas bénéficié de données sur le rendement ayant une pertinence directe, puisque le thème de l’évaluation (le soutien scientifique) n’est pas lié à une structure de fonctions ou de résultats au sein du Ministère pour lequel des données sur le rendement auraient pu raisonnablement être attendues. Les résultats et les conclusions de l’évaluation sont donc essentiellement fondés sur les données qualitatives recueillies pendant les entrevues avec les informateurs clés, mais ils sont étayés par une vaste documentation.
Un nombre limité de clients externes des prévisions météorologiques a été interrogé dans le cadre de cette évaluation en raison des difficultés rencontrées pour recenser et joindre ces clients dans les délais de la collecte des données. On a toutefois pu obtenir de l’information indirecte sur les besoins des clients pendant les entrevues avec les représentants qui participent à la prestation des services du SMC et en examinant les données de programmes secondaires et les documents externes.
En raison du thème inhabituel de l’évaluation (une fonction de soutien transversale plutôt qu’une fonction organisationnelle clairement délimitée ou un résultat du Ministère), il a fallu élaborer une démarche novatrice, et adapter les questions et outils d’évaluation standard afin d’aborder adéquatement la question d’évaluation du rendement. L’approche conceptuelle adoptée pour cette évaluation a entraîné une mesure de la réussite en termes de processus de transfert des connaissances favorisant l’efficacité de l’établissement des priorités et de la prise de décisions et qui, finalement, permet de répondre aux besoins des clients externes. Bien que cette approche n’ait pas couvert tous les thèmes traités par les questions d’évaluation traditionnelles, elle a permis à l’équipe d’évaluation de dresser un portrait utile des circonstances dans lesquelles les activités scientifiques viennent appuyer efficacement la prévision météorologique.
Le cadre de cette évaluation a exclu la mesure de la qualité des activités scientifiques menées à l’appui de la prévision météorologique, car une telle mesure requiert des compétences et des connaissances spécialisées plus fréquentes chez les chercheurs universitaires. Cependant, une étude semblable a été effectuée en 200220 et on en a tenu compte dans la présente évaluation.
15 Dans le contexte de cette évaluation, la « chaîne d’innovation » du SMC renvoie au processus de bout en bout, de la R et D à la production des services, qui permet la conception et la prestation, par le SMC, de produits et services qui demeurent pertinents et conformes aux progrès scientifiques et aux besoins des clients.
16 Une grille d’évaluation comprenant les questions d’évaluation, les indicateurs et les méthodes/sources se trouve à l’annexe 1.
17 La liste complète des documents examiné est inclus dans un rapport sur les annexes techniques.
18 Des guides distincts ont été préparés pour les groupes suivants : personnel d’EC travaillant en recherche, développement, production, surveillance et prestation des services; fonctions habilitantes d’EC; SMA d’EC; clients externes; pairs et collaborateurs; pairs et collaborateurs internationaux. Ces guides sont inclus dans un rapport sur les annexes techniques.
19 Pour résumer le degré de consensus dans les résultats des entrevues avec les personnes-ressources clés, on a appliqué les lignes directrices suivantes : « quelques personnes interrogées » : moins de 25 %; « la minorité des personnes interrogées » : de 25 à 44 %; « environ la moitié des personnes interrogées » : de 45 à 55 %; « la majorité des personnes interrogées » : de 56 à 75 %; « la plupart des personnes interrogées » : de 76 à 94 %; et « presque toutes les personnes interrogées » : 95 % ou plus.
20 Elbert W. Friday, Jr. (président du Comité d’examen) et al. Independent Review of the Research and Development Program of the Meteorological Service of Canada, janvier 2002.