Gouvernement du Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Avertissement Cette page Web a été archivée dans le Web.

Contenu archivé

Information archivée dans le Web à des fins de consultation, de recherche ou de tenue de documents. Cette dernière n’a aucunement été modifiée ni mise à jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s’appliquent aux sites Web du gouvernement du Canada. Conformément à la Politique de communication du gouvernement du Canada, vous pouvez obtenir cette information dans un autre format en communiquant avec nous.

Évaluation du programme national de mise à la ferraille de véhicules

Rapport final

Le 12 juillet 2011

Page précédente | Table des matières | Page suivante

3.0 Conception de l’évaluation

3.1 Objectif et portée

Afin de respecter un engagement auprès du Conseil du Trésor, une évaluation du programme national de mise à la ferraille de véhicules a eu lieu en 2010-2011. Cette évaluation faisait partie du plan d’évaluation axé sur le risque pour les exercices de 2010‑2011 à 2014-2015.

L’objectif de cette évaluation était d’évaluer la pertinence et le rendement du programme national de mise à la ferraille de véhicules. L’évaluation portait surtout sur le calendrier de quatre ans (de 2007-2008 à 2010-2011), mais elle comportait également un examen des données du programme en 2011-2012 sur le nombre total de véhicules retirés de la circulation et les dépenses définitives prévues du programme.

3.2 Approche et méthodologie d’évaluation

L’évaluation a examiné les deux enjeux clés ci-dessous, conformément à la Politique sur l’évaluation de 2009 du Conseil du Trésor :

  • Pertinence : Mesure dans laquelle le programme répond à un besoin continu, correspond aux priorités gouvernementales et est conforme aux rôles et responsabilités à l’échelle fédérale.
  • Rendement : Mesure dans laquelle le programme a atteint les résultats attendus et fait preuve d’efficience et d’économie.

En tout, 16 questions d’évaluation à l’appui de ces deux grands enjeux ont été prises en compte dans l’évaluation. Ces questions d’évaluation, de même que les indicateurs, les sources de données et les méthodes de collecte des données connexes, sont répertoriées à l’annexe 3. Les approches méthodologiques sont brièvement décrites ci-dessous.

Haut de la page

Tour d’horizon de la bibliographie et des documents

Un tour d’horizon de la bibliographie et des documents a été réalisé pour traiter la plupart des questions de l’évaluation. L’équipe d’évaluation, en collaboration avec les représentants du programme, a entamé le processus en sélectionnant les principaux documents et ouvrages devant être examinés. L’équipe a mené des recherches supplémentaires par l’intermédiaire de bases de données en ligne afin de compléter les renseignements, puis a passé en revue la documentation sur les programmes semblables mis en place par d’autres gouvernements au Canada et à l’étranger. L’objectif était de comparer les caractéristiques de chaque programme et d’en évaluer les forces et les faiblesses. La liste complète des documents est présentée à l’annexe 1.

La documentation a été examinée à l’aide d’une grille (fondée sur les enjeux d’évaluation) qui a résumé la source et la fiabilité des données. Après avoir rempli la grille, l’équipe d’évaluation a résumé les constatations de la documentation par enjeu d’évaluation dans une matrice distincte. Ce résumé a servi de base pour l’ébauche du rapport.

Haut de la page

Analyse des données secondaires

L’équipe d’évaluation a également examiné les données du programme pour répondre aux questions de l’évaluation. Il s’agissait notamment de données financières issues du programme et de données sur le rendement issues du système SPARC, une base de données permettant d’effectuer un suivi des véhicules et des primes d’encouragement dans le cadre du programme Adieu bazou.

Les données étaient examinées pour obtenir des renseignements descriptifs sur le programme afin d’établir son profil et pour recueillir des données afin de répondre aux enjeux d’évaluation. Des tableaux ont été élaborés pour décrire les aspects financiers du programme. Par exemple, les renseignements financiers ont été analysés pour évaluer la rentabilité du programme par rapport à des programmes similaires au Canada (remises écoAUTO) et à l’étranger (Cash for Clunkers aux États-Unis). La base de données SPARC a servi à établir les réductions du smog, qui ont été calculées à partir des données sur les émissions d’Environnement Canada et de Ressources naturelles Canada.

Haut de la page

Entrevues avec des répondants clés

Une série de 20 entrevues approfondies ont été menées individuellement avec les répondants clés sur la base d’un guide d’entrevue comprenant des questions ouvertes. La répartition des répondants à ces entrevues est présentée dans le tableau 3 ci‑dessous :

Tableau 3 : Distribution des entrevues auprès de répondants clés
Catégorie Nombre d’entrevues effectuées Nombre d’intervenants
Gestion du programme et personnel d’Environnement Canada 4 5
Organismes sans but lucratif 12 30
Associations de recycleurs de véhicules 2 2
Gouvernements provinciaux 2 3
Total 20 40

Les entrevues ont été utilisées pour évaluer la plupart des enjeux d’évaluation, et ont été réalisées dans la langue officielle choisie par le répondant. Les entrevues ont été effectuées en personne dans la région de la capitale nationale et par téléphone dans les autres régions. Un déplacement dans la région de Toronto a également été organisé pour des entrevues en personne avec les représentants de Summerhill Impact et d’autres intervenants. Les entrevues ont été effectuées à l’aide de guides adaptés, présentés séparément dans une annexe technique.

Les résultats des entrevues ont été intégrés à une matrice, structurée selon les enjeux d’évaluation aux fins d’analyse. Après une analyse globale, l’équipe d’évaluation a résumé les résultats aux fins du présent rapport.

Haut de la page

Études de cas

Certains aspects du programme ont été évalués dans le cadre d’études de cas distinctes. Cela a permis à l’équipe d’évaluation de mener les entrevues et d’examiner les documents en mettant l’accent sur les principaux aspects de l’exécution du programme. Les trois cas sont décrits ci-dessous.

  1. Code de pratique pour le recyclage des véhicules

    Dans le cadre du programme national de mise à la ferraille de véhicules, Environnement Canada a consacré des fonds pour aider le secteur du recyclage automobile à élaborer un code de pratique dans ce domaine. Le code a été conçu pour aider les recycleurs à améliorer leur performance environnementale et leur rentabilité tout en produisant des services utiles pour la société. On s’attendait à ce que le code lègue de bonnes performances environnementales au secteur du recyclage automobile après la fin du programme. Sept personnes ont été interrogées et différents documents ont été examinés, y compris des rapports de vérification.

  2. Collaboration avec les partenaires pour offrir des mesures incitatives autres qu’en argent

    En échange de leur véhicule, les Canadiens et les Canadiennes admissibles au programme pouvaient choisir une récompense dans une liste de mesures incitatives facultatives. Ces mesures variaient d’une province à l’autre et comprenaient notamment des laissez-passer gratuits de transport en commun, des rabais sur l’achat d’une bicyclette ou d’un vélo électrique, une adhésion à un programme d’autopartage, ainsi que des rabais sur un véhicule neuf ou plus récent. Summerhill Impact et les organismes sans but lucratif ont mis en place ces mesures incitatives autres qu’en argent d’une plus grande valeur en négociant et/ou en tirant parti des 300 $ de l’incitatif de base avec les partenaires locaux et nationaux. Six personnes ont été interrogées, y compris des organismes sans but lucratif et des partenaires. Les renseignements descriptifs issus de sources en ligne ont également été étudiés.

  3. Communications

    La portée et la complexité du programme Adieu bazou a posé de nombreux défis (et présenté de nombreuses belles occasions) en matière de communications pour Environnement Canada et les partenaires prenant part à l’exécution du programme. Sur le plan fonctionnel, les enjeux de communication portaient sur tous les aspects du programme à différents niveaux, y compris les communications internes et externes (p. ex. communication des informations, publicité, normes de service, bilinguisme, financement fédéral). L’étude de cas a été fondée sur quatre entrevues et un examen de la documentation et des statistiques du programme, y compris des sondages auprès de la population en général, des sondages auprès des utilisateurs et des documents de sensibilisation.

Dans l’ensemble, les entrevues et la documentation ont été utilisées pour mieux comprendre le rendement du programme pour chaque sujet des études de cas, ainsi que les défis, les meilleures pratiques et les leçons tirées. Les entrevues ont été effectuées à l’aide de guides adaptés pour chaque étude de cas. Les principaux résultats des études de cas sont mis en évidence dans le corps de ce rapport, dans les parties concernant les questions d’évaluation pertinentes. Les guides pour les études de cas et les rapports de cas sont présentés séparément dans une annexe technique.

Haut de la page

3.3 Limites

Comme toutes les évaluations, cette étude a connu un certain nombre de limites, y compris les suivantes :

  • Même si le rendement du programme a été bien surveillé, certains aspects de l’évaluation étaient fondés sur des renseignements qui n’ont pas été consignés (ce qui n’est pas rare). Pour compléter les données et la documentation existantes concernant le rendement, l’équipe d’évaluation s’est basée sur des entrevues avec les répondants clés afin de répondre à un certain nombre de questions d’évaluation. Les entrevues avec les répondants clés peuvent fournir des réponses approfondies, mais elles sont également limitées par un certain nombre de facteurs, notamment le manque d’objectivité et les trous de mémoire des répondants. En outre, les entrevues avec les répondants clés n’ont pris en compte qu’un certain nombre de répondants, et non la totalité des intervenants ayant pris part au programme. Pour l’équipe d’évaluation, les différents répondants interrogés ont formé une combinaison appropriée (c.-à-d. un équilibre adéquat entre les répondants bien informés représentant chaque groupe d’intervenants clé et les répondants capables de donner un aperçu objectif du programme). L’interprétation des résultats d’entrevue a également pris en compte les autres sources de données, notamment la documentation du programme ainsi que les sources documentaires et les données du programme, qui existaient en quantité importante. L’intégration des résultats provenant de différentes sources de données a permis d’assurer la validité des constatations et des conclusions de l’évaluation.

  • Bien qu’il existe d’excellentes données sur le nombre de véhicules retirés de la circulation, il reste des lacunes en ce qui concerne les données sur les répercussions environnementales de ces mises à la casse. Pour évaluer les réductions des émissions d’oxydes d’azote, de composés organiques volatils, ainsi que d’autres polluants, l’équipe d’évaluation a utilisé différentes hypothèses, y compris les hypothèses fondées sur les données de Statistique Canada (p. ex. les estimations du nombre de kilomètres parcourus par les véhicules types), les spécifications des véhicules mis à la casse et la manière dont ils ont été remplacés. L’équipe a fondé ses hypothèses sur les meilleurs renseignements à sa disposition, mais il est probable que les répercussions environnementales soient différentes des données contenues dans cette évaluation, étant donné que la performance environnementale de chaque véhicule n’a pas été évaluée lors de sa mise à la casse. L’équipe d’évaluation est néanmoins restée prudente dans ses hypothèses pour éviter toute surestimation de la réduction d’émissions de polluants.

 

Page précédente | Table des matières | Page suivante