Évaluation du programme national de mise à la ferraille de véhicules

Rapport final

Le 12 juillet 2011

Page précédente | Table des matières | Page suivante

Annexe 3 Enjeux et questions de l’évaluation

Pertinence

Le programme national de mise à la ferraille de véhicules était-il conforme et contribuait-il aux priorités du gouvernement fédéral? Répondait-il à ses besoins réels?

Question 1. a)

Le programme national de mise à la ferraille de véhicules répondait-il à un besoin réel? Lequel?

Indicateurs

Démonstration du besoin sociétal ou environnemental
Opinions sur le lien entre les objectifs du programme et les besoins sociétaux ou environnementaux

Sources de données/méthodes

Examen de documents
Entrevues avec les répondants clés
Études de cas (code de pratique pour le recyclage)

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 1 : Nécessité de poursuivre le programme

Haut de la page

Question 1. b)

Est-il nécessaire de poursuivre ce programme?

Indicateurs

Mesure dans laquelle il pourrait y avoir des lacunes dans la réponse au besoin sociétal ou environnemental en l’absence du programme
Opinions sur l’existence d’un besoin permanent pour le programme national de mise à la ferraille de véhicules

Sources de données/méthodes

Examen de documents
Analyse documentaire (y compris des statistiques sur l’âge des véhicules en circulation)
Entrevues avec les répondants clés
Études de cas (code de pratique pour le recyclage)

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 1 : Nécessité de poursuivre le programme

Haut de la page

Question 2.

Est-ce que le programme complétait ou chevauchait d’autres programmes connexes du gouvernement fédéral ou des gouvernements provinciaux (p. ex. programmes de Transports Canada, programmes provinciaux d’analyse des émissions, etc.)?

Indicateurs

Présence/absence d’autres programmes gouvernementaux (fédéraux et provinciaux) qui complètent ou chevauchent les objectifs du programme
Opinions sur le fait que le programme complète ou chevauche d’autres programmes connexes

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 1 : Nécessité de poursuivre le programme

Haut de la page

Question 3.

Le programme national de mise à la ferraille de véhicules était-il conforme aux priorités du Ministère et du gouvernement fédéral?

Indicateurs

Mesure dans laquelle les objectifs du programme correspondent aux priorités récentes/actuelles du gouvernement fédéral (p. ex. les objectifs du Programme de la qualité de l’air)
Mesure dans laquelle les objectifs du programme sont conformes aux résultats stratégiques récents/actuels du Ministère
Opinions sur la conformité des objectifs du programme avec les priorités récentes/actuelles du Ministère et du gouvernement fédéral

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 2 : Conformité avec les priorités du gouvernement fédéral

Haut de la page

Question 4.

Le programme national de mise à la ferraille de véhicules était-il conforme au mandat du Ministère et aux rôles et responsabilités du gouvernement fédéral?

Indicateurs

Mesure dans laquelle le mandat du programme était conforme au mandat du Ministère et aux compétences du gouvernement fédéral
Opinions sur la pertinence de l’implication fédérale et ministérielle

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 3 : Conformité avec les rôles et les responsabilités du gouvernement fédéral

Haut de la page

Rendement

Le programme national de mise à la ferraille de véhicules a-t-il obtenu les résultats prévus? Les moyens qui ont été utilisés étaient-ils les plus appropriés, les plus efficient et les plus économiques pour obtenir ces résultats?

Haut de la page

Question 5.

Les objectifs du programme étaient-ils réalistes et bien définis?

Indicateurs

Démonstration du fait que les objectifs du programme national de mise à la ferraille de véhicules sont réalistes
Mesure dans laquelle les objectifs du programme sont bien compris par les intervenants clés
Opinions sur la viabilité et la clarté des objectifs du programme

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 6. a)

La conception du programme national de mise à la ferraille de véhicules convenait-elle pour atteindre les résultats attendus?

Indicateurs

Vraisemblance du lien entre les activités, les extrants et les résultats prévus du programme
Mesure dans laquelle les processus du programme et la structure de gouvernance, y compris les rôles, les responsabilités et la responsabilisation, ont été clairement définis et compris
Opinions sur la pertinence des activités, des processus et des structures de gouvernance du programme

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 6. b)

Le financement du programme était-il proportionnel aux objectifs et aux besoins cernés?

Indicateurs

Preuve de la mesure dans laquelle les ressources et les capacités du programme étaient compatibles avec les résultats prévus du programme
Opinions sur la pertinence du financement du programme

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 7. a)

Les participants ont-ils été satisfaits de l’administration du programme par le Ministère et les organismes sans but lucratif?

Indicateurs

Degré de satisfaction des participants par rapport à l’administration du programme par le Ministère et les organismes sans but lucratif

Sources de données/méthodes

Analyse des données secondaires (recherche de suivi sur les participants au programme)

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 7. b)

Les participants ont-ils été satisfaits des mesures incitatives proposées pour les récompenser de la mise à la ferraille de leur véhicule (type et valeur)?

Indicateurs

Degré de satisfaction des participants par rapport aux mesures incitatives offertes par l’entremise du programme

Sources de données/méthodes

Analyse des données secondaires (recherche de suivi sur les participants au programme)
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 8.

Les réalisations du programme national de mise à la ferraille de véhicules ont-elles été consignées et communiquées au public concerné (p. ex. les principaux intervenants et le grand public) de façon efficace et efficient?

Indicateurs

Mesure dans laquelle les activités du programme et les résultats ont été communiqués de façon efficace aux principaux intervenants (y compris des données sur le cadre horizontal de gestion, de responsabilisation et de rapport du Programme de la qualité de l’air)
Accessibilité des renseignements sur les résultats du programme pour le public canadien
Opinions sur la mesure dans laquelle les réalisations du programme ont été efficacement et efficienment consignées et partagées avec les principaux intervenants et le grand public

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 9.

Les données pertinentes sur le rendement ont-elles été recueillies, saisies et sauvegardées? Le cas échéant, les données recueillies ont-elles été utilisées pour informer la haute direction et les décideurs?

Indicateurs

Existence d’une stratégie efficace de mesure du rendement
Mesure dans laquelle les données sur le rendement sont fiables, opportunes et pertinentes
Mesure dans laquelle les données sur le rendement ont éclairé ou aidé le processus de prise de décision d’Environnement Canada
Opinions sur les forces et les faiblesses du cadre de surveillance du rendement de la mise à la ferraille des véhicules

Sources de données/méthodes

Examen de documents
Analyse des données secondaires (données relatives au rendement du programme)
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 10. a)

Quelles leçons le programme a-t-il permis d’apprendre (points forts et points faibles)?

Indicateurs

Opinions sur les points forts, les meilleures pratiques et les points faibles du programme (ce qui a fonctionné, ce qui n’a pas bien fonctionné, et ce qui aurait pu être amélioré)

Sources de données/méthodes

Examen de documents
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 10. b)

Existe-t-il des activités de suivi ou des programmes qui pourraient s’appuyer sur la réussite obtenue par ce programme?

Indicateurs

Mesure dans laquelle les activités du programme pourraient ouvrir de nouvelles possibilités pour atteindre les objectifs généraux du Programme de la qualité de l’air ou d’autres priorités environnementales

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Conception et exécution]

Haut de la page

Question 11.

Dans quelle mesure les résultats attendus ont-ils été atteints dans le cadre du programme national de mise à la ferraille de véhicules?

Question 11. a) Résultats à court terme

Les Canadiens et les Canadiennes de toutes les provinces ont accès à des mesures incitatives pour les récompenser de retirer les véhicules plus anciens de la circulation.

Indicateurs

Nombre de provinces et de territoires (défini dans le plan opérationnel approuvé) dans lequel le programme était proposé
Nombre de provinces et de territoires (défini dans le plan opérationnel approuvé) dans lequel des recycleurs formés étaient présents
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (base de données du programme)
Examen de documents
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. b) Résultats à court terme

Meilleure sensibilisation du public au sujet du programme et des répercussions environnementales des véhicules plus anciens

Indicateurs

Changement du degré de sensibilisation de la population canadienne (grand public et propriétaires de vieux véhicules) aux effets environnementaux des vieux véhicules
Changement d’attitude par rapport à l’utilisation de vieux véhicules
Meilleure connaissance du programme dans la population canadienne
Mesure dans laquelle le public croit que le programme a été une bonne idée
Nombre de demandes de renseignements au sujet des mesures incitatives reçues par l’entremise du site Web et du service d’information 1 800 O-Canada (Service Canada)
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (recherche de suivi sur le public)
Examen de documents
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. c) Résultats à court terme

Meilleure sensibilisation des recycleurs au sujet des pratiques de recyclage sécuritaires sur le plan environnemental

Indicateurs

Niveau d’acceptation et attitude des recycleurs à l’égard du code de pratique pour le recyclage
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (sondage auprès des recycleurs de véhicules)
Entrevues avec les répondants clés
Examen de documents
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. d) Résultats à moyen terme

Réduction du nombre de véhicules personnels plus vieux et hautement polluants en circulation

Indicateurs

Nombre de vieilles voitures personnelles très polluantes mises à la casse dans le cadre du programme
Influence du programme sur la décision des participants de recycler leurs véhicules selon les déclarations
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (base de données du programme et recherche de suivi sur les participants au programme)
Examen de documents
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. e) Résultats à moyen terme

Modes de transport durables utilisés dans une plus grande mesure à des fins personnelles

Indicateurs

Adoption des mesures incitatives autres que l’achat d’un autre véhicule
Utilisation des moyens de transport durables pendant la durée des mesures incitatives (p. ex. une année de laissez-passer pour les transports en commun)
Utilisation potentielle des moyens de transport durables au-delà de la durée des mesures incitatives
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (base de données du programme et recherche de suivi sur les participants au programme)
Examen de documents
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. f) Résultats à moyen terme

Utilisation de pratiques sécuritaires sur le plan environnemental pour le recyclage des véhicules mis à la ferraille dans le cadre du programme

Indicateurs

Niveau de conformité des recycleurs de véhicules avec le code de pratique
Degré de soutien au code de pratique de la part des associations de recyclage régionales et des gouvernements provinciaux
Mesure dans laquelle le code de pratique a été adopté par les provinces et d’autres intervenants
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Entrevues avec les répondants clés
Examen de documents
Analyse documentaire
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. g) Résultats à long terme

Réduction des polluants atmosphériques

Indicateurs

Calcul des réductions des émissions responsables du smog
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (base de données du programme)
Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. h) Résultats à long terme

Réduction des émissions de gaz à effet de serre

Indicateurs

Calcul des réductions des émissions de gaz à effet de serre
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (base de données du programme)
Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 11. i) Résultats à long terme

Prévention du rejet de substances dangereuses et toxiques dans l’environnement

Indicateurs

Nombre de véhicules recyclés conformément au code de pratique
Opinions sur la mesure dans laquelle le résultat a été atteint

Sources de données/méthodes

Analyse des données secondaires (base de données du programme)
Examen de documents
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 12.

Ce programme a-t-il poussé les gens à utiliser d’autres programmes gouvernementaux fédéraux et provinciaux connexes ou vice-versa?

Indicateurs

Niveau de participation des participants au programme dans d’autres programmes connexes
Opinions sur la mesure dans laquelle le résultat s’est produit

Sources de données/méthodes

Analyse des données secondaires (recherche de suivi sur les participants au programme)
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 13.

Y a-t-il des facteurs externes au programme national de mise à la ferraille de véhicules qui ont influencé (de façon positive ou négative) la réussite du programme?

Indicateurs

Preuve de facteurs externes au programme ayant eu une incidence sur l’obtention des résultats prévus
Opinions sur l’existence ou non de facteurs externes ayant contribué ou nui à la réussite du programme

Sources de données/méthodes

Examen de documents
Analyse documentaire
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 14.

Le programme national de mise à la ferraille de véhicules a-t-il eu des résultats positifs ou négatifs inattendus?

Indicateurs

Présence ou absence de résultats inattendus
Opinion sur l’existence ou non de résultats inattendus à la suite du programme

Sources de données/méthodes

Examen de documents
Entrevues avec les répondants clés
Études de cas

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 4 : Obtention des résultats prévus [Efficacité]

Haut de la page

Question 15.

Le programme national de mise à la ferraille de véhicules a-t-il entrepris ses activités et livré ses produits de la façon la plus efficient?
Le financement fédéral a-t-il été optimisé dans la mesure prévue au départ?
Comment peut-on améliorer l’efficience des activités du programme? des activités du programme?
Existe-t-il des solutions de rechange plus efficient permettant de mettre en œuvre le programme?

Indicateurs

Analyse des coûts opérationnels du programme en lien avec la production des extrants
Analyse des coûts administratifs du programme en lien avec le total des coûts du programme
Opinions sur le coût de la production des extrants du programme : a-t-il été réduit autant que possible?
Montant des engagements financiers des partenaires des mesures incitatives
Montant des engagements financiers et des autres types de soutien des provinces et territoires pour l’exécution du programme
Nombre de partenariats obtenus par l’organisme national sans but lucratif avec les partenaires des mesures incitatives soutenant les objectifs du programme
Opinions sur la manière d’améliorer l’efficience des activités du programme
Comparaison des activités du programme et des produits offerts par d’autres programmes similaires, y compris le programme Cash for Clunkers des États-Unis
Opinions sur d’éventuelles solutions de rechange plus efficient et les moyens de réaliser des activités et des extrants du programme

Sources de données/méthodes

Examen de documents
Analyse financière
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 5 : Démonstration de l’efficience et de l’économie [Efficience]

Haut de la page

Question 16.

Le programme national de mise à la ferraille de véhicules a-t-il produit les résultats souhaités de la façon la plus économique?

Indicateurs

Mesure dans laquelle les résultats prévus du programme ont été obtenus au coût le plus faible possible pour le programme
Opinions sur l’obtention éventuelle d’une bonne valeur à l’égard de l’utilisation des fonds publics
Preuves et opinions liées aux modèles de programme de rechange qui permettraient d’atteindre les mêmes résultats escomptés à moindre coût

Sources de données/méthodes

Examen de documents
Analyse financière
Analyse documentaire
Entrevues avec les répondants clés

Enjeude la politique du Conseil du Trésor évalué

Enjeu n^o 5 : Démonstration de l’efficience et de l’économie [Économie]

Page précédente | Table des matières | Page suivante