Mai 2006

Étapes de l’autorisation du rapport

Acronymes utilisés dans le rapport

Remerciements

L’équipe du projet de vérification et d’évaluation, formée de V. Neimanis et d’Anne-Marie Bédard et menée par Shelley Tice sous la direction de Shelley Borys, directrice de l’Évaluation, aimerait remercier les personnes qui ont collaboré au projet et, en particulier, toutes les personnes interrogées qui ont fourni des idées et des observations cruciales aux fins de la présente évaluation.

Rapport préparé par la Division de l’évaluation, Direction de la vérification et de l’évaluation

RÉSUMÉ

Comme mentionné dans le plan ministériel de vérification et d’évaluation pour la période allant de 2005-2006 à 2007-2008, l’évaluation du regroupement, sur les campus universitaires, des centres de recherche scientifique (ci-après, le regroupement)  a été lancée en raison des risques potentiels associés à un mécanisme d’exécution relativement nouveau et pour garantir l’allignement des centres de recherche sur les besoins ministériels.

Cette évaluation des conséquences du regroupement des centres de recherche scientifique d’Environnement Canada (EC) sur les campus universitaires a essentiellement porté sur :

1. les avantages et synergies anticipées du regroupement (p. ex., avec l’université et  la collectivité élargie), par rapport à ceux réellement obtenus;
2. la mesure dans laquelle les activités et résultats du secteur des sciences appuient les résultats stratégiques du Ministère et ont la flexibilité voulue pour répondre aux besoins changeants; et
3. l’analyse de rentabilité du point de vue de la décision de procéder au regroupement et des frais d’exploitation annuels (p. ex., baux, ententes).

Le Centre national de la recherche faunique (CNRF) de l’Université Carleton et le Centre canadien de la modélisation et de l’analyse climatique (CCmaC) de l’Université de Victoria ont fait l’objet d’études de cas de regroupement dans le cadre de la présente évaluation. Ces deux études de cas ne se veulent pas représentatives de tous les exemples de regroupement à EC mais visent plutôt à faire figure d’exemples informatifs dont nous pouvons tirer profit. 

Les cas étudiés sont très différents l’un de l’autre et, bien que l’évaluation ait été faite en fonction des mêmes critères, il est important de souligner la divergence des motifs du regroupement et des besoins en matière d’espace et de locaux ainsi que la grande dissemblance des mandats régissant leurs activités respectives.  

En vue de l’évaluation des études de cas, un modèle logique a été élaboré pour preciser résultats prévus du regroupement. Aux fins de la présente évaluation, le cadre a été utilisé pour mesurer deux cas particuliers; il pourrait également être utilisé comme cadre d’évaluation d’autres exemples de regroupement à l’avenir.

L’évaluation a porté sur les quatre éléments suivants :

a)     L’élément de la pertinence a permis d’évaluer si le regroupement répondait aux besoins réels;

b)     L’élément du succès visait essentiellement à déterminer si le regroupement pouvait donner les résultats escomptés;

c)     L’élément de la rentabilité étudiait si les moyens les plus pertinents et efficaces  avaient été mis en œuvre pour atteindre les résultats; et

d)     Enfin, l’élément de la conception et de l’exécution examinait dans quelle mesure le regroupement avait été conçu et exécuté de manière optimale.

Conformément aux pratiques exemplaires, le processus d’évaluation comportait l’utilisation de nombreuses méthodes, incluant entre autres l’étude des documents, les entrevues et l’analyse de la rentabilité.

Voici le sommaire des résultats dont il est fait état dans le présent rapport, selon l’élément d’évaluation.

Élément d’évaluation : Pertinence

Mis à part les plans des projets axés sur les résultats et les mandats qui, du fait de leur nature, sont censés être alignés sur les résultats du Ministère, nous avons peu de renseignements pour déterminer le degré d’alignement sur les résultats stratégiques de ce dernier.

Élément d’évaluation : Succès

La communication de données relativement à l’élément du succès s’effectue en fonction de trois niveaux de résultats[1] (immédiats, intermédiaires, finaux) et également en fonction des résultats non intentionnels.

a) Résultats immédiats

Dans le cas du CCmaC, il y a des preuves que tous les résultats immédiats ont été atteints (meilleur accès aux étudiants, aux connaissances, aux installations spécialisés et optimisation des ressources). Pour ce qui est du CNRF, tant les preuves que la réalisation des résultats suivants sont limitées : accès aux étudiants, aux connaissances et aux installations spécialisées; le résultat de l’optimisation des ressources n’a pas été atteint.

b) Résultats intermédiaires

Pour le CCmaC, des preuves attestent de la réalisation des résultats intermédiaires (synergie et capacité scientifique accrues). En ce qui touche au CNRF, la réalisation des résultats intermédiaires et les preuves de celle-ci sont limitées.

c) Résultats finaux

La réalisation du résultat final est attestée (recherche scientifique appuyant les résultats stratégiques et intermédiaires du Ministère et les résultats des RPAR) dans le cas du CCmaC. Pour ce qui est du CNRF, les preuves et la réalisation du résultat final sont toutes deux limitées; toutefois, la réalisation de ce résultat semble n’avoir rien à voir avec le regroupement.

d) Résultats non intentionnels – propres au centre

Un certain nombre de résultats non intentionnels propres à chaque cas étudié ont été identifiés. 

Élément d’évaluation : Rentabilité

La pénurie de données et d’information empêche de déterminer si le regroupement est rentable ou non.

Élément d’évaluation : Conception et exécution

La communication de données relativement à la conception et à l’exécution se subdivise en deux volets : autres conceptions d’accord de collaboration et pratiques exemplaires/leçons apprises.

a) Autres conceptions d’accord de collaboration

Un certain nombre de facteurs influent sur les conséquences du regroupement, entre autres le type d’entente conclue (entre l’université et le ministère fédéral), l’usage du bâtiment et la taille de l’effectif.

b)  Pratiques exemplaires/leçons apprises

Un certain nombre de leçons apprises ont été rassemblées et peuvent être regroupées sous deux rubriques générales : les installations et l’établissement de partenariats.

En conclusion, la présente évaluation devrait permettre de pousser la réflexion concernant les avantages du regroupement, en particulier dans le contexte des discussions en vue de l’élaboration du nouveau plan en matière de sciences et de technologie, devant être parachevé à l’automne 2006. 

Suivant les études de cas et l’information provenant d’autres exemples de regroupement, celui-ci comporte des avantages évidents. Ces avantages varient toutefois considérablement selon chaque cas et sont directement liés aux raisons motivant le regroupement.

Divers motifs de regroupement ont une incidence sur le degré de réalisation des résultats de celui-ci. Par conséquent, il est crucial d’étudier le regroupement dans le contexte global du partenariat. Au nombre des raisons les plus souvent invoquées pour justifier le regroupement, mentionnons la relocalisation en vue d’enrichir une base de connaissances scientifiques et d’établir des synergies avec une plus large collectivité (priorité au partenariat), la relocalisation visant à profiter des avantages financiers ou liés au partage des coûts pouvant découler du regroupement (priorité aux finances) et la relocalisation en vue de la construction ou du remplacement d’une installation scientifique (priorité aux installations). Dans certains cas, tous ces motifs entrent en ligne de compte, alors que dans d’autres, un seul prédomine. 

À la lumière des conclusions de l’évaluation des deux études de cas, des améliorations peuvent être apportées aux deux centres (p. ex., amélioration/enrichissement du lien unissant le Centre et le ministère d’accueil) qui se traduiraient par l’accentuation des résultats du regroupement dans chaque cas. Ces décisions ne visent toutefois pas uniquement l’intensification de l’incidence du regroupement; elles s’appuient également sur les décisions connexes prises par la direction et sur le contexte global d’exploitation des centres. De surcroît, l’information découlant de la présente évaluation serait utile aux fins d’analyse des ententes existantes et des possibilités ultérieures en matière de regroupement.

Voici les deux recommandations découlant de l’évaluation :

1. Le SMA, Sciences et Technologie, devrait étudier, d’ici décembre 2006, les conclusions de chaque étude de cas (CCmaC et CNRF) et évaluer si des mesures doivent être prises pour améliorer les résultats des regroupements.
2. À l’avenir, lorsqu’il étudie la fonction des ententes existantes en matière de regroupement ou en crée de nouvelles, le SMA, Sciences et Technologie devrait :

a.     Tenir compte des autres centres qui partagent des locaux sur les campus universitaires dont il n’a pas été question dans la présente l’évaluation et se servir de celle-ci comme cadre d’évaluation de ces centres afin de déterminer l’incidence du regroupement;

b.     Mettre en pratique les leçons tirées des études de cas afin d’en arriver à ce que de meilleures décisions soient prises à l’avenir concernant le regroupement, et

c.     Faire en sorte de répondre aux besoins généraux en matière de mesure du rendement /documentation afin de pouvoir évaluer le regroupement et cerner ses conséquences. On doit noter que le SMA, Finances et services corporatifs, est également responsable de la documentation, étant donné qu’il lui incombe de s’occuper des biens, des approvisionnements et de la gestion environnementale et qu’il joue un rôle clé eu égard à la relocalisation des installations.

Réponse de la direction: Recommandation 1

Le SMA-Sciences et Technologie s’engage à examiner d’ici décembre 2006 les constatations de chaque étude de cas, et à déterminer s’il est nécessaire de prendre des mesures pour en améliorer les résultats pour ce qui est du regroupement.

Réponse de la direction: Recommandation 2

À l’avenir, quand on se penchera sur la fonction des regroupements existants ou qu’on envisagera de créer de nouveaux regroupements, le SMA-Sciences et Technologie se servira de la présente évaluation comme cadre pour déterminer les conséquences du regroupement et appliquer les leçons tirées des études de cas.

Le SMA-Sciences et Technologie, de concert avec le SMA-Finances et Services corporatifs, examinera les besoins généraux en mesure/documentation du rendement et communiquera les résultats de cet examen aux gestionnaires de la Direction générale, pour s’assurer que l’on réponde à ces besoins et que l’on puisse évaluer l’efficacité et les conséquences des futurs regroupements.