ARCHIVÉE - Système d'information sur l'éducation - Vérification d'un système en cours d'élaboration

Renseignements archivés

Cette page a été archivée dans le Web. Les renseignements archivés sont fournis aux fins de référence, de recherche ou de tenue de documents. Ils ne sont pas assujettis aux normes Web du gouvernement du Canada et n'ont pas été modifiés ou mis à jour depuis leur archivage. Pour obtenir ces renseignements sous une autre forme, veuillez communiquer avec nous.

Date : Novembre 2010

Format PDF (307 Ko, 38 pages)

 

 

Table des matières

 

 

Liste des sigles et abbres et définitions techniques

Liste des sigles et abbres

ADP
Approbation définitive de projet

Affaires indiennes et du Nord Canada

APP
Approbation préliminaire de projet

CT
Conseil du Trésor

EDE
Entrepôt de données d'entreprise

CD
Instrument de collecte de données

OGC
Office of Government Commerce

PCPE
Produit commercial prêt à l'emploi

PDF
Format de document portable

PTPNI
Système Paiements de transfert aux Premières nations et aux Inuits

SIE
Système d'information sur l'éducation

SII
Système d'inscription des Indiens

SVE
Secteur de la vérification et de l'évaluation

TI
Technologie de l'information

Définitions techniques

Instruments de collecte de données (ICD) - Rapports de bénéficiaire produits conformément aux modalités de divers accords de contribution, qui représentent la seule source de données recueillies dans le cadre des programmes d'éducation financés par AINC.

Entrée en service - Date de lancement de l'environnement de production du Système d'information sur l'éducation (SIE) (le système est en ligne; les utilisateurs obtiennent l'accès au système et peuvent créer/soumettre des propositions et exécuter des rapports; du soutien en service est offert).

Intégration - Assemblage d'un système à partir de toutes ses composantes (ou sous-systèmes), de façon à ce que les sous-systèmes interagissent entre eux et fonctionnent comme un seul système.

Interface - Point d'interaction ou de communication entre des systèmes ou des composantes de système, qui peut comprendre un échange de données automatisé ou manuel.

Stabilisation - Période de transition suivant l'entréeen service, lors de laquelle on diminue la taille de l'équipe du projet et transfère des activités à d'autres.

 

 

Résumé

Contexte

Principal responsable de l'éducation des Premières nations dans les réserves, Affaires indiennes et du Nord Canada (AINC ou « le Ministère ») consacre environ 1,7 milliard de dollars par année aux programmes d'éducation des Autochtones. En mai 2008, AINC a approuvé la réalisation d'une initiative en faveur de l'apport de changements fondamentaux à l'éducation des Premières nations. Il a été déterminé que le système de mesure du rendement appelé Système d'information sur l'éducation (SIE) était un outil essentiel pour soutenir la réforme. Le SIE vise à accroître la responsabilisation à l'égard des programmes d'éducation; à orienter l'apport de changements au processus d'élaboration de politiques et de programmes et à améliorer la prestation de services.

Un financement de 26,6 M$ pour l'élaboration et la mise en œuvre du SIE ainsi que l'attribution d'une somme de 450 000 $ par année pour l'entretien et le soutien permanents ont été approuvé. En 2008, AINC a engagé des experts-conseils de l'extérieur pour gérer le projet de SIE et élaborer le système. De 2008 à 2010, on a affecté 5,5 M$ à la planification préliminaire du projet et à sa documentation, dont une somme de 0,8 M$ en fonds ministériels existants. En juin 2009, l'approbation préliminaire de projet (APP) pour la conception du SIE d'AINC a été reçue. Si l'approbation définitive de projet (ADP) est accordée, une somme de 21,7 M$ sera débloquée en vue de l'élaboration et de la mise en œuvre du SIE approuvé.

Le Secteur de la vérification et de l'évaluation (SVE) d'AINC a retenu les services de Ernst & Young pour mener une vérification du projet de SIE, aux étapes préalables à l'ADP, de juin à octobre 2010. Les résultats de la vérification, qui comprennent les constatations et recommandations figurant dans le présent rapport, se fondent sur l'information qui a été mise à notre disposition de juin à août 2010.

Objectif et étendue de la vérification

La vérification [Note 2] cherchait à fournir l'assurance que le projet de SIE était en voie d'aboutir à la livraison d'un système, de processus et de contrôles, en septembre 2012, qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement. Le champ de la vérification englobe les trois domaines de risque suivants, repérés lors de l'étape de planification des travaux :

Méthodologie

Un programme de vérification axé sur le risque a été établi à l'étape de la planification de la vérification afin de cibler les domaines les plus à risque. Il a été structuré de façon à inclure des examens de la documentation et des entrevues. Tout le travail sur place a eu lieu à l'administration centrale d'AINC, à Ottawa et Gatineau. La planification de la vérification s'est déroulée en juin 2010, puis a été suivie du travail sur place, en juillet et août 2010. L'étape du rapport a eu lieu en septembre et octobre 2010.

Pour que la direction d'AINC puisse se pencher en temps opportun sur les risques cernés durant la vérification, nous avons présenté des constatations préliminaires aux hauts fonctionnaires à la mi-septembre 2010.

Constatations et conclusions

Trois constatations découlent de la vérification. En résumé, nous manquons de preuves pour montrer que :

Bien que le projet semble en bonne voie d'offrir un système qui regroupe les données, permet la production de rapports électroniques et aide la fonction de TI d'AINC à gagner en expérience et en maturité, si le Ministère n'est pas en mesure de recueillir des données fiables et exhaustives, il lui sera impossible de mettre à profit la fonctionnalité complexe dans laquelle il a investi pour mesurer le rendement. Le projet se soldera par un échec si AINC ne dispose pas des outils et de l'information nécessaires pour exploiter la technologie, et ce, même si l'élaboration du système suit les spécifications techniques. En outre, sans une pleine compréhension des besoins et des données à l'égard de la mesure du rendement, les exigences et attentes relatives au SIE pourraient changer en cours de route, ce qui entraînera un risque important pour le projet.

À la lumière des constatations de la vérification, nous ne sommes pas en mesure de conclure que le projet de SIE est en voie d'aboutir à la livraison d'un système, de processus et de contrôles, en septembre 2012, qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement.

Recommandations

Nous recommandons au Ministère d'examiner ses attentes envers la mesure du rendement et de confirmer qu'il recueillera systématiquement des données fiables et exhaustives pour bien mettre à profit la technologie du SIE, avant d'investir dans les capacités du système. Il faut ensuite produire un calendrier des résultats prévus en matière de mesure du rendement et estimer le coût total de la propriété. Enfin, la stratégie de mise en œuvre du SIE, le calendrier et les stratégies d'atténuation doivent faire l'objet d'un examen objectif et indépendant pour valider que le projet correspond bien aux attentes d'AINC et du CT et répond le mieux possible aux exigences opérationnelles.

 

 

1. Contexte

Affaires indiennes et du Nord Canada (AINC) appuie la prestation de programmes sociaux de type provincial, notamment dans le domaine de l'éducation, dans les collectivités des Premières nations. Pour réaliser son mandat, AINC a la responsabilité légale de veiller à ce que la qualité des services soit comparable à celle des services offerts aux autres Canadiens [Note 3]. Principal responsable de l'éducation des Premières nations dans les réserves [Note 4], le Ministère consacre environ 1,7 milliard de dollars par année aux programmes d'éducation des Autochtones.

En mai 2008,  la réalisation de l'Initiative de réforme de l'éducation des Premières nations,en faveur de l'apport de changements fondamentaux à l'éducation des Premières nations a été approuvé. Il a été déterminé que le système de mesure du rendement appelé Système d'information sur l'éducation (SIE) était un outil essentiel pour soutenir la réforme. Un financement de 26,6 M$ pour l'élaboration et la mise en œuvre du SIE ainsi que l'attribution d'une somme de 450 000 $ par année pour l'entretien et le soutien permanents ont été alloué au projet.

Le projet de SIE, pour lequel AINC et les Premières nations ont des intérêts communs et des responsabilités partagées, porte sur l'établissement d'un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement. Le nouveau système vise à accroître la responsabilisation à l'égard des programmes d'éducation, à orienter l'apport de changements au processus d'élaboration de politiques et de programmes et à améliorer la prestation de services.

L'élaboration du SIE figure parmi les projets de technologie de l'information (TI) les plus vastes et complexes du point de vue technique jamais entrepris par le Ministère. En 2008, AINC a engagé des experts-conseils de l'extérieur pour gérer le projet et élaborer le système. De 2008 à 2010, on a affecté 5,5 M$ à la planification préliminaire du projet et à sa documentation, dont une somme de 0,8 M$ en fonds ministériels existants.

En juin 2009, une APP pour la conception du SIE d'AINC a été approuvé. Selon la présentation au CT produite dans ce contexte, le SIE contribuera de façon très significative à la compréhension et à l'amélioration des résultats des élèves des Premières nations, améliorera la gestion des programmes d'éducation et augmentera la responsabilisation grâce aux capacités suivantes :

Si l'ADP est accordée, une somme de 21,7 M$ sera débloquée en vue de l'élaboration et de la mise en œuvre du SIE approuvé, dont l'entrée en service est prévue pour septembre 2012. Le SVE d'AINC a retenu les services de Ernst & Young pour mener une vérification du projet de SIE, aux étapes préalables à l'ADP.

Pour que la direction d'AINC puisse se pencher en temps opportun sur les risques cernés durant la vérification, nous avons présenté des constatations préliminaires aux hauts fonctionnaires à la mi-septembre 2010.

Dans le présent rapport de vérification, nous exposons le contexte et décrivons en détail nos constatations et recommandations.

 

 

2. Objectif et étendue

2.1 Objectif

La vérification cherchait à fournir l'assurance que le projet de SIE est en voie d'aboutir à la livraison d'un système, de processus et de contrôles qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement.

2.2 Étendue

Le champ de la vérification englobait les grands domaines suivants :

Le rapport s'articule autour de trois domaines de risque, repérés lors de l'étape de planification de la vérification :

Nous exposons en détail les observations et constatations relatives à chacun des trois domaines de risque à la section 5.

2.3. Limitation de l'étendue de la vérification

Compte tenu que le projet en est aux premières étapes de planification et que l'élaboration du système ne débutera qu'après l'obtention de l'ADP, il a fallu exclure certains aspects, notamment l'examen et la mise à l'essai des contrôles de système, des plans de secours et des interfaces. Nous avons examiné la documentation disponible, de juin à août 2010, ce qui comprenait les exigences détaillées, l'analyse de rentabilité du SIE et la charte de projet ainsi qu'une ébauche de la présentation au CT visant l'obtention de l'ADP.

Puisque le projet de SIE est en cours de réalisation, nous sommes conscients que certains problèmes soulevés dans le rapport peuvent déjà avoir été cernés par l'équipe du projet et pris en compte dans un plan d'action. Les présentes observations se fondent sur l'information accessible au moment du travail sur place. Le cas échéant, nous avons intégré des renseignements fournis par la direction lors de réunions tenues à l'étape du rapport, et ce, afin de fournir le contexte des constatations et des recommandations du rapport. Cependant, à l'étape du rapport, nous n'avons pas effectué d'autres travaux sur place pour examiner de nouveaux aspects de l'avancement du projet et de l'élaboration du système.

 

 

3. Énoncé d'assurance

Des travaux suffisants ont été exécutés et les éléments de preuve nécessaires ont été recueillis pour appuyer les constatations, recommandations et conclusions du présent rapport. Nous avons effectué les travaux en nous conformant au programme de vérification axé sur le risque établi en collaboration avec le SVE d'AINC.

Le programme de vérification axé sur le risque se fonde sur la version 4.1 du modèle COBIT (Control Objectives for Information and related Technology) et la version 4 du Project Management Body of Knowledge du Project Management Institute (PMI PMBOK 4).

La vérification est conforme aux Normes relatives à la vérification interne au sein du gouvernement du Canada. Le procédé de vérification respecte aussi la Politique sur la vérification interne du CT et les instruments de politique connexes, de même que les Normes internationales pour la pratique professionnelle de l'audit interne. Il ne s'agit pas d'une vérification ou d'un examen selon les normes de vérification généralement reconnues (NVGR).

 

 

4. Méthodologie

4.1 Démarche et calendrier

La vérification s'est déroulée en trois étapes :

Nous sommes conscients que, étant donné l'ampleur et la complexité du projet et le fait que les travaux d'élaboration du système sont actuellement en cours, il est important pour le Ministère d'obtenir de la rétroaction en temps opportun. En conséquence, nous avons présenté des observations préliminaires, exposé les risques et fait des recommandations aux hauts fonctionnaires d'AINC, en septembre 2010.

4.2 Stratégie de vérification

Un programme de vérification axé sur le risque a été établi à l'étape de la planification de la vérification afin de cibler les domaines les plus à risque. Il a été structuré de façon à inclure des examens de la documentation et des entrevues. Tout le travail sur place a eu lieu à l'administration centrale d'AINC, à Ottawa et Gatineau.

Comme la vérification a été menée préalablement à l'obtention de l'ADP, avant le début de l'élaboration du système, il n'y a pas eu de mise à l'essai. Nous avons tiré parti des travaux de recherche et des pratiques exemplaires dans les domaines suivants, au moment d'évaluer les plans de projet et de mettre sur pied le programme de vérification :

 

 

5. Constatations et recommandations

Le SIE est un important outil grâce auquel AINC pourra atteindre ses objectifs de mesure du rendement et regrouper dans un format « exploitable » les rapports sur l'éducation, qui sont actuellement difficiles à gérer. Nous sommes conscients de l'intérêt stratégique du système pour le Ministère et des enjeux inhérents à la mesure du rendement. Nous nous rendons également compte de l'ampleur des travaux effectués à l'étape préalable à l'ADP, ce qui comprend beaucoup de planification. L'équipe du projet nous a signalé que plus de 4 500 documents de planification ont été produits. Plusieurs documents examinés comportaient des pratiques exemplaires de la gestion de projet.

La présente section vise à décrire les risques, lacunes et domaines où des améliorations pourraient être apportées pour favoriser la réussite du projet de SIE. La présentation de nos constatations et recommandations s'articule autour des trois principaux domaines de risque définis pendant la vérification :

5.1 Calendrier de mise en œuvre

L'entrée en service du SIE est prévue pour le mois de septembre 2012, échéance dont le respect est considéré comme primordial. En effet, parce que les rapports sur l'éducation concordent avec les années scolaires, il faut mettre en œuvre le nouveau système au début de la période de rapport annuelle du Ministère (septembre). Si on manque la cible, le prochain créneau viable sera un an plus tard. Selon l'équipe de projet, l'objectif de septembre 2012 doit être respecté puisqu'il ne sera pas possible de conserver les fonds pour les ressources de projet jusqu'au cycle de rapport annuel suivant. En outre, AINC s'est publiquement engagé à mettre en œuvre le SIE au début de l'année scolaire 2012.

L'équipe du projet a opté pour la mise en œuvre du SIE en un seul temps, soit en septembre 2012 (voir la figure 1 ci-dessous). Selon le modèle de mise en œuvre en un seul temps, le lancement de l'environnement de production du système définitif a lieu à une seule date, par opposition à un modèle de mise en œuvre graduelle (où chaque étape de mise en œuvre comporte une « mise à niveau ») ou à un modèle de mise en œuvre évolutive (dans le cadre duquel un projet pilote, ou une mise en œuvre partielle, a lieu avant la mise en œuvre globale, pour atténuer les risques).

Chronologie graphique du Calendrier de haut niveau

Figure 1 - Calendrier de haut niveau [Note 6]

Ce graphique illustre le cycle de développement du SIE dans le temps, à intervalle de 4 mois (d'octobre 2010 à décembre 2012) en indiquant les évènements clés.

Dans le cadre d'une mise en œuvre graduelle ou évolutive, les résultats et « leçons tirées » de l'utilisation de l'environnement de production peuvent orienter les étapes ou mises en production suivantes. À l'opposé, la mise en œuvre en un seul temps présente une solution finale à un même moment à tous les utilisateurs - il s'agit d'une méthode semblable à la solution big bang pour l'implantation de logiciels.

La solution big bang est plus risquée que les autres méthodes, car elle offre moins de possibilités de tirer des apprentissages. En conséquence, il est important de bien se préparer avant la mise en œuvre [Note 7]. En outre, en plus d'offrir des possibilités d'apprentissage, la mise en œuvre graduelle présente habituellement les avantages suivants :

Bien que, dans l'analyse de rentabilité du SIE, on fasse référence à un projet pilote relativement à l'entrée en service de l'environnement de production en 2012, rien n'indique que le projet pilote servira à obtenir les possibilités d'apprentissage et les avantages susmentionnés. Plutôt, selon l'analyse de rentabilité, il semble que les activités de déploiement débuteront en juillet 2012, que le système entrera en service en septembre 2012 et que la stabilisation aura lieu d'ici décembre 2012.

Parce que la mise en œuvre du SIE se déroulera en un seul temps, il est impératif d'assurer une planification et une mise à l'essai adéquates avant l'entrée en service et de repérer et de régler tous les problèmes cruciaux avant cette date. Nous examinons ci-après les domaines de risque suivants, associés au calendrier et à la stratégie de mise en œuvre :

5.1.1 Dépendances externes

La réussite du projet de SIE est fortement tributaire de plusieurs facteurs sur lesquels l'équipe de projet n'a pas de pouvoir. Nous présentons ici des aspects du projet associés à des dépendances critiques, susceptibles d'influer sur l'atteinte des cibles de mise en œuvre et la réalisation des résultats opérationnels :

À l'annexe A, nous présentons nos observations à l'égard des dépendances susmentionnées, accompagnées d'une évaluation du risque connexe établie à partir des plans de projet produits avant l'ADP.

Certaines dépendances externes ont une influence directe sur la satisfaction des exigences impératives (p. ex. la mise hors service d'anciens systèmes), tandis que d'autres jouent un rôle important dans le respect du calendrier et du budget (p. ex. le nettoyage des données de systèmes existants avant la conversion).

Étant donné le recours à la mise en œuvre en un seul temps et la date d'entrée en service en septembre 2012, l'existence de dépendances externes entraîne un risque important. Bien que de telles dépendances soient inévitables dans tout projet, la prise des décisions suivantes à l'égard de la planification et de la portée du projet a accru les risques :

L'équipe du projet a mis sur pied des stratégies d'atténuation des risques associés aux dépendances. En conséquence, une somme de 3,26 M$ a été déposée dans un fonds de prévoyance. Nous manquons cependant de preuves pour conclure que les stratégies et le fonds de prévoyance suffisent pour contrer l'effet cumulatif des nombreux facteurs de risque (p. ex. la combinaison de multiples bureaux régionaux ayant besoin de ressources additionnelles pour nettoyer les données de systèmes existants, de retards dans le calendrier et de l'ampleur de la production de rapports papier après l'entrée en service du SIE). Il s'agit d'un aspect qui revêt une grande importance, compte tenu du nombre de dépendances du projet et du fait que la mise en œuvre d'un système pionnier dans le domaine de la mesure du rendement s'appuie sur les ressources et l'infrastructure du Ministère.

Étant donné le nombre de dépendances externes et leurs incidences, il faut prévoir une marge de sécurité par rapport à la date d'entrée en service en septembre 2012, de manière à faire face à d'éventuels dérapages du calendrier auxquels l'équipe du projet ne pourrait rien. Cela dit, comme il en est question à la section 5.1.2, nous manquons de preuves pour conclure qu'une marge de manœuvre suffisante a été prévue.

5.1.2 Calendrier de l'atteinte des jalons

La figure 2 illustre les jalons clés à atteindre selon l'analyse de rentabilité du SIE (ADP). Les activités à haut risque sont en rouge. Entre juillet et septembre 2012, on prévoit procéder aux activités de déploiement, notamment :

Chronologie graphique du Calendrier du haut niveau mettant en évidence les domaines à haut risque

Figure 2 – Calendrier de haut niveau mettant en évidence les domaines à haut risque (rouge) [Note 9]

Ce graphique illustre le cycle de développement et la progression du projet du SIE dans le temps en mettant l'accent sur la phase critique du projet (les activités critiques de déploiement et l'entrée en service du SIE) et en indiquant les principaux jalons.

Dans ses pratiques exemplaires, l' Office of Government Commerce (OGC) du Royaume-Uni signale que l'une des principales raisons de l'échec des projets de TI des gouvernements est le manque d'importance accordée à la division des étapes du projet en phases de travail gérables. Nous ne disposons pas d'assez de preuves pour montrer que, dans le cadre du projet de SIE, le risque associé à la réalisation d'activités ingérables avant l'entrée en service est atténué efficacement, en particulier pour ce qui est des activités de conversion des données.

Plus précisément, dans les trois mois précédant l'entrée en service, peu de marge de manœuvre est prévue pour la réalisation des tâches clés en cas de retards ou d'événements inattendus liés aux dépendances externes. La situation est particulièrement risquée, car plusieurs aspects de la conversion de données des anciens systèmes dépendent des exploitants de système (voir l'annexe A). Dans son analyse du risque, l'équipe de projet signale d'ailleurs que la conversion des données est un volet exigeant de la mise en œuvre. Toutefois, nous manquons de preuves pour montrer que la probabilité et l'incidence des risques de la conversion de données sont « modérées » comme le prétend l'équipe de projet.

Les projets de conversion et d'unification des données peuvent influer sur l'efficacité et l'efficience de l'organisation, ce qui est particulièrement le cas pour les projets mettant en jeu des bases de données « patrimoniales ». Selon les travaux de recherche et les pratiques exemplaires, la conversion des données dépasse généralement le temps prévu. En conséquence, les conversions sont souvent effectuées à la hâte, ce qui accroît le risque de ne repérer les problèmes qu'une fois le processus terminé et la qualité des données déjà amoindrie. Pour bien établir le calendrier et la liste des attentes de conversion, il est nécessaire de faire un profilage préliminaire des données et d'évaluer leur qualité [Note 10]. Parce que l'intégrité et le nettoyage des données sont hors du champ du projet de SIE, les conversions prévues pour juillet 2012 représentent un risque important. Le tout sera amplifié par le manque de disponibilité des ressources de programme et des ressources opérationnelles, qui est typique durant les mois d'été.

5.1.3 Stratégie d'atténuation

L'information tirée des entrevues avec la direction est contradictoire quant à l'impact du non-respect de l'échéance pour l'entrée en service en septembre 2012 et la stratégie d'atténuation. Ainsi, par suite de la présentation des constatations préliminaires de la vérification lors de l'étape du rapport, on nous a signalé que la date d'entrée en service pourrait être reportée, d'au plus un mois, sans que cela ait de grandes répercussions sur l'exécution du projet. Après ce délai d'un mois, la mise en œuvre pourrait avoir lieu en recourant aux rapports papier et à la saisie manuelle des données. Cette information diffère de celle qui nous a été transmise à l'étape du travail sur place.

En outre, nous manquons de précisions à savoir comment le SIE peut être déployé, après le délai d'un mois, en ayant recours à la saisie manuelle des données à partir de rapports papier. En effet, les bureaux régionaux doivent actuellement consacrer beaucoup de temps aux rapports papier, lesquels représentent un élément moteur de la création du système. Rien n'indique que l'on remédiera à la pénurie de ressources en 2012 pour veiller à ce que la saisie manuelle de données dans le SIE ne nuise pas au respect des objectifs de présentation de rapports en temps opportun établis lors de la planification de projet.

De plus, la stratégie d'atténuation présentée lors de l'étape du rapport prévoit la possibilité de passer à une mise en œuvre graduelle, à mi-chemin de l'élaboration. Ainsi, on procéderait au déploiement de certaines composantes de l'application avant l'entrée en service. Les composantes liées aux propositions/bénéficiaires et à la mesure du rendement feraient l'objet d'itérations subséquentes (par opposition à une mise en œuvre introduite graduellement en fonction des cycles de rapport annuels). Rien n'indique que ce plan potentiel a été mentionné dans les entrevues ou les documents (y compris la documentation de l'analyse des possibilités) durant l'étape du travail sur place. Lors de la vérification, les questions suivantes sont restées sans réponse précise :

Constatation 1 : Nous manquons de preuves pour montrer qu'il est possible d'atténuer efficacement le risque, selon le calendrier de projet prévu, en ayant recours à la stratégie de mise en œuvre « en un seul temps ». Tout spécialement, les éléments suivants présentent un niveau de risque important pour le Ministère :



Recommandation 1 : En consultation avec les intervenants du projet et l'équipe responsable de la stratégie de mesure du rendement en matière d'éducation, il faut tenter de déterminer si des mesures préventives peuvent être prises pour atténuer le risque. Tout spécialement, il faut envisager la réalisation des activités suivantes pour gérer les risques associés à l'échéancier :



5.2 Faisabilité de la conception

Comme il en a été question à la section 5.1, il n'est pas évident de savoir si le calendrier et la date d'entrée en service proposés sont réalistes. De même, nous manquons de preuves pour montrer que la conception et la stratégie de mise en œuvre proposées sont celles qui conviennent le mieux aux exigences opérationnelles d'AINC. Comme aucune étude de faisabilité indépendante n'a été menée pour évaluer synchroniquement tous les aspects pertinents du projet (soit les aspects technologique, stratégique (mesure du rendement) et économique), il est difficile de déterminer si le SIE peut remplir les objectifs énoncés et si la stratégie de mise en œuvre proposée est optimale du point de vue de la gestion du risque, de l'efficience des ressources et de l'efficacité de la méthode [Note 11].

L'équipe de projet avait déjà un budget et un calendrier déterminés avant l'établissement définitif des exigences et des objectifs du SIE. En conséquence, après la réalisation d'une analyse pour évaluer le coût et la complexité des exigences, la portée du projet a été rajustée pour tenir compte des contraintes du budget et du calendrier. Comme il en a été question précédemment, de nombreuses dépendances sont hors du champ du projet de SIE, mais entraînent des frais additionnels pour AINC et représentent des domaines de risque stratégique pour le projet. Dans les prochaines sections, nous examinons trois aspects de la faisabilité :

5.2.1 Faisabilité du point de vue technologique

L'équipe de projet a opté pour la mise en œuvre en un seul temps par suite d'une analyse des possibilités menée avant l'APP qui portait sur cinq solutions potentielles. À l'étape de l'APP, l'équipe a convenu que la seule solution permettant de remplir les exigences opérationnelles était celle de « formulaires Web sur mesure ». Pour ce faire, deux stratégies de mise en œuvre ont été envisagées :

À l'étape de l'APP, pour en venir à choisir la mise en œuvre en un seul temps, l'équipe a fait appel à des experts-conseils – décision confirmée par les experts-conseils de l'équipe à l'étape de l'ADP.

Bien que l'analyse de rentabilité indique qu'une mise en œuvre graduelle permettrait de réduire le risque, de tirer des apprentissages et d'apporter des améliorations au système avant le déploiement final, l'équipe de projet a conclu qu'une mise en œuvre en plusieurs étapes n'offrirait aucune valeur ajoutée et entraînerait des frais administratifs additionnels en prolongeant la durée du projet pour implanter les mêmes fonctionnalités. Malheureusement, l'analyse des possibilités que nous avons examinée manque d'information contribuant à justifier la décision de mettre le système en œuvre en un seul temps. Plus précisément :

De plus, rien n'explique pourquoi on a choisi de faire appel à une équipe d'experts-conseils (par le truchement de divers mécanismes d'approvisionnement) plutôt qu'à un seul tiers fournisseur de services pour l'élaboration et la mise en œuvre d'un système de formulaires Web conçu sur mesure.

Un autre aspect de la faisabilité du point de vue technologique se rapporte à l'alignement sur la stratégie globale de mesure du rendement en matière d'éducation. Comme il en est question à la section 5.3, si les exigences ou les résultats opérationnels changent, il faudra peut-être retravailler certains aspects techniques, ce qui aura des répercussions sur le calendrier et le budget du projet de SIE.

Compte tenu du manque d'information disponible, combiné avec l'absence d'étude de faisabilité indépendante, il nous a été impossible de nous assurer que la stratégie de mise en œuvre choisie était la meilleure pour AINC. Surtout, l'absence d'étude de faisabilité de haut niveau permettant de vérifier l'adéquation entre la conception du SIE et les objectifs stratégiques de mesure du rendement d'AINC entraîne d'importants risques opérationnels pour le Ministère.

5.2.2 Faisabilité du point de vue stratégique (mesure du rendement)

Comme il en est question à la section 5.3, rien n'indique quand les exigences impératives ou les résultats opérationnels seront atteints, ou s'ils seront atteints.

En outre, nous ne disposons pas d'information à savoir quel est le degré d'adhésion « électronique » requis de la part des établissements pour considérer le projet comme une réussite. Le SIE est conçu pour permettre la production de rapports papier, ce qui exigera la saisie manuelle des données par le personnel des bureaux régionaux d'AINC. Cependant, aucune donnée n'a été fournie à savoir quelle est l'ampleur possible de la saisie manuelle au moyen des ressources et des budgets de fonctionnement actuels des régions et du budget du projet. Bien que la saisie manuelle soit actuellement la façon de gérer de nombreux rapports sur l'éducation, AINC a constaté que la grande quantité de tels rapports donne lieu à des analyses inadéquates du fait de la pénurie de ressources. Nous n'avons pas obtenu suffisamment de preuves pour montrer que les rapports papier du SIE exigeront moins de temps de saisie dans le système que les rapports actuels ni que les taux d'adoption du SIE suffiront à réduirela saisie manuelle.

La qualité et l'intégrité des données, qui sont indispensables à la mesure du rendement, représentent un aspect encore plus important de l'adoption du SIE. On nous a signalé d'importants problèmes d'intégrité des données sur l'éducation au Ministère. Selon les entrevues menées, le SIE incitera les Premières nations et les établissements à fournir des données de qualité accrue et diminuera le nombre d'erreurs de saisie, ce qui permettra de régler certains problèmes de qualité. Cela dit, cette approche dépend fortement de l'adoption du SIE.

Les membres de la direction interviewés n'ont pas proposé de mesure claire de la réussite en ce qui concerne le taux d'adoption. Selon les entrevues, le projet sera considéré comme un succès peu importe le taux d'adoption, parce que le SIE permettra de remédier à l'absence de système ministériel unique réunissant les données sur le rendement en éducation pour la production de rapports. Ainsi, nous ne pouvons pas indiquer quels sont les taux d'adoption prévus à court et à long terme, ni dire si AINC est en bonne voie d'atteindre ses objectifs.

Si l'intégrité des données est compromise par suite de la mise en œuvre du SIE, en raison du faible taux d'adoption, du grand nombre de rapports papier et de l'ampleur des activités de saisie manuelle, les rapports ne seront pas fiables. Si le système n'est pas fiable, les utilisateurs seront moins enclins à fournir des données de haute qualité, ce qui perpétuera le cycle de l'information lacunaire. L'intégrité et l'intégralité des données sont essentielles à la réalisation des objectifs stratégiques d'AINC et à la réussite du projet de SIE. Il en est question à la section 5.3.

5.2.3 Faisabilité du point de vue économique

Plusieurs frais assumés par AINC sont exclus de la portée du projet de SIE (y compris pour le nettoyage des données de systèmes existants, les négociations relatives au partage de données à l'interne et à l'externe et la conclusion d'accords détaillés à cet égard), mais augmenteront le coût total du projet pour le Ministère. Bien que ces coûts puissent être raisonnables et acceptés par les principaux intervenants, rien n'a permis de montrer qu'ils ont été estimés ou pris en compte à l'étape de l'ADP (voir l'annexe A).

D'autres préoccupations liées aux dépenses se rapportent à la qualité et à l'intégrité des données, aspects indispensables de la mesure du rendement dans plusieurs domaines, y compris celui de l'éducation. En particulier, dans une évaluation interne de 2009-2010 et lors des entrevues menées au moment de la vérification [Note 12], d'importants problèmes d'intégrité des données ont été signalés concernant l'état nominatif informatisé et les données sur l'éducation à AINC. Rien n'indique que le coût de la résolution des problèmes d'intégrité, ce qui comprend tant le nettoyage des données que le maintien continu de leur qualité, a été estimé avec suffisamment de précision. De plus, les incertitudes à l'égard du taux d'adoption du système (section 5.2.1) risquent de faire augmenter ces coûts et de rendre obligatoire le nettoyage continu des données.

Comme nous le signalons à la section 5.1, nous ne sommes pas en mesure de conclure que les stratégies d'atténuation actuelles permettent de bien gérer le grand nombre de dépendances et les changements ministériels requis pour assurer que le SIE mène à l'atteinte des résultats opérationnels.

5.2.4 Résumé

En résumé, nous manquons de preuves permettant de conclure que plusieurs aspects de la faisabilité de projet ont été évalués indépendamment, en ayant en tête la stratégie, les coûts indirects et la technologie pour tout le Ministère. Compte tenu de la taille et de la complexité du SIE, la réalisation d'une étude de faisabilité permettrait d'atténuer les risques en validant les indicateurs de réussite suivants, avant d'investir massivement des ressources et des fonds :

En nous fondant sur les plans du projet avant l'ADP, nous n'avons pas pu nous assurer de l'existence des indicateurs de réussite susmentionnés. Pour avoir une perspective suffisamment vaste, une étude de faisabilité devrait être menée indépendamment de l'équipe de projet. On éviterait ainsi aussi un éventuel conflit d'intérêts.

Constatation 2 : Aucune étude de faisabilité indépendante n'a été menée pour évaluer la stratégie de mise en œuvre du SIE et confirmer les résultats de l'analyse des possibilités. Compte tenu de la taille du SIE, de sa complexité et du nombre de dépendances du projet, nous manquons de preuves pour montrer que le plan de mise en œuvre est réalisable du point de vue stratégique (mesure du rendement), technologique et économique.



Recommandation 2 : AINC doit déterminer, en marge de l'équipe du projet de SIE, si la conception du système est possible du point de vue stratégique (mesure du rendement), technologique et économique. Le Ministère doit estimer le coût total de la propriété du SIE, en fonction de toutes les exigences opérationnelles et de système et des résultats affirmés avec un degré de précision acceptable.



5.3 Résultats en matière de mesure du rendement

La réussite du SIE dépend de sa capacité de soutenir les objectifs de mesure du rendement du Ministère. Les principaux éléments de la réussite du projet, au-delà du respect de l'échéancier, du budget et des spécifications techniques, sont présentés à l'annexe B.

Environ 119 000 élèves du primaire et du secondaire habitent dans une réserve au Canada. Parmi eux, environ 60 p. 100 fréquentent une école des réserves, contre 40 p. 100 qui sont inscrits dans une école à l'extérieur des réserves (de telles écoles sont pour la plupart administrées par une province). En plus de mesurer le rendement pour les écoles primaires et secondaires, le SIE vise à évaluer le rendement des étudiants des établissements postsecondaires ainsi que des programmes de subventions salariales et de stage pour les jeunes, des sites de Rescol et des centres culturels financés par le truchement d'AINC. Dans le cadre du projet, on recueillera des données relativement aux 18 indicateurs de rendement établis par le groupe de la stratégie globale de mesure du rendement en matière d'éducation.

Bien que le SIE soit conçu pour remplir les exigences impératives liées à la mesure du rendement, nous manquons d'information pour prouver qu'il est possible de réaliser les aspects de l'atteinte de ces exigences qui sont relatifs aux données. Même si le système offre la technologie nécessaire pour mesurer les paramètres énoncés, on ne pourra pas obtenir les résultats opérationnels si les données ne sont pas disponibles ou si elles ne sont pas assez fiables pour mettre à profit les fonctionnalités. Ce point est particulièrement important du fait que deux des principaux indicateurs de rendement du projet de SIE sont l'intégrité et l'intégralité des données, tel que mentionné dans la planification du projet examinée dans le cadre de la vérification. Dans les prochaines sections du rapport, nous étudions ces aspects de la réussite du projet. Nous présentons ensuite un résumé de l'avancement des travaux en vue de la réalisation des résultats opérationnels.

5.3.1 Intégrité des données

Dans l'ensemble des plans de projet, « l'adoption du système » est considérée comme un facteur crucial de la réussite du projet. On a tenu compte des leçons qu'a tirées le Ministère du projet de système PTPNI. En effet, dans les cas où les cibles d'adoption n'avaient pas été atteintes, l'équipe de projet de SIE a consacré une part importante du financement préliminaire pour corriger la situation. Toutefois, nous n'avons pas d'information à savoir comment est quantifié le « succès » de l'adoption. Plus précisément, nous ne disposons pas de preuves pour montrer que le concept « d'adoption » du système par les Premières nations a été suffisamment défini pour réagir aux degrés d'adoption variables suivants :

Pour assurer la collecte de données qui sont toujours de haute qualité, l'adhésion des utilisateurs est essentielle. Compte tenu des problèmes actuels d'intégrité des données dont il a été question dans les entrevues et les évaluations sur l'éducation précédentes, l'incertitude associée au taux d'adoption entraîne un risque important et influe sur les résultats opérationnels prévus (voir la section 5.3.2 et l'annexe C).

Un autre risque concernant l'adoption du système se rapporte à l'exigence impérative de réduire la charge de travail liée à la saisie de données pour les Premières nations, les bureaux régionaux et l'administration centrale. La réalisation de cette exigence dépend de l'adoption du système et de l'ampleur de la production de rapports papier. En conséquence, si l'on ne dispose pas de cibles d'adoption quantifiées, on n'aura pas de base sur laquelle s'appuyer pour déterminer si l'objectif est atteint. Nous examinons d'autres exigences impératives et leur dépendance envers l'intégralité des données à la section 5.3.2.

Un autre aspect de l'intégrité des données porte sur l'échange de données entre le SIE et le SII. La vérification du numéro de l'élève dans le SII au moment de l'entrée de données figure parmi les exigences impératives, de même que la nécessité de s'assurer que la date de naissance et le nom de famille sont les mêmes dans les deux systèmes. Dans le cadre de la vérification en cours du certificat sécurisé de statut indien (CSSI), plusieurs problèmes d'intégrité des données ont été notés en ce qui concerne le SII. Quoique la validation des données par rapport à celles du SIE offre l'occasion d'améliorer l'uniformité entre les systèmes, il risque d'y avoir d'importantes difficultés à surmonter, en particulier pour ce qui est de l'initiative prévue de développement du SII. Même si cela n'a pas nécessairement de lien direct avec les constatations et recommandations du rapport, nous recommandons la conclusion sans délai d'accords de partage des données avec les exploitants du SII ainsi que l'établissement de protocoles « de signalisation progressive », bien détaillés, pour gérer en temps opportun les différences entre les données.

5.3.2 Intégralité des données

En plus de nuire à l'intégrité des données, le faible taux d'adoption du système risque d'influer sur l'intégralité des données. En particulier, le programme a divisé en trois niveaux les sous-ensembles de données sur lesquels s'appuient les 18 indicateurs de rendement énoncés dans la stratégie globale de mesure du rendement en matière d'éducation :

Des 45 sous-ensembles qui viennent à l'appui des indicateurs de rendement, 20 relèvent des niveaux 2 et 3. Nous manquons de preuves pour montrer que les établissements qui n'adopteront pas le SIE feront une collecte efficace des données du niveau 2 une fois le système entré en service, en septembre 2012. Parallèlement, même si AINC établit la façon dont les données du niveau 3 seront recueillies, rien n'indique que les établissements qui n'adopteront pas le SIE seront en mesure de bien les recueillir.

On ne sait pas exactement quel pourcentage d'établissements et d'élèves le SIE doit suivre pour répondre aux exigences et atteindre les objectifs de projet. Les accords de partage des données avec les provinces ne s'inscrivent pas dans la portée du projet de SIE et on ne s'attend pas à ce qu'ils soient en place au moment de la mise en œuvre du système. Les établissements provinciaux comprennent environ 40 p. 100 de la population des élèves du primaire et du secondaire que le Ministère veut suivre. Ainsi, la situation a un effet direct sur la capacité d'AINC de répondre aux exigences impératives exposées dans le document sur les exigences système du SIE.

En plus des enjeux associés à la disponibilité et à la fiabilité des données, notons celui du manque d'information sur le mode de suivi de chaque élève. L'équipe du projet de SIE prévoit utiliser les numéros attribués aux Indiens inscrits dans le SII pour faire le suivi des élèves. Toutefois, les Indiens non inscrits et les Inuits ne sont pas dans le SII. Bien que, dans la documentation du projet, on envisage la possibilité d'utiliser un identifiant unique pour les élèves, nous manquons d'information à savoir comment fonctionnerait un tel mécanisme de suivi (y compris quand et comment les élèves obtiendraient un numéro).

Tandis que les exigences impératives peuvent se rapporter tout spécialement aux fonctionnalités du système, l'atteinte des résultats opérationnels énoncés dans le document sur les exigences système du SIE dépend du respect des exigences tant du point de vue des fonctionnalités du système que de celui de la programmatique. Cela dit, il ne suffit pas que le SIE soit capable de remplir les exigences technologiques; les responsables du programme général d'éducation doivent avoir les moyens nécessaires pour mettre à profit la technologie grâce à des données exhaustives de haute qualité qui permettront de fournir des rapports fiables en temps opportun.

Par exemple, une exigence impérative est de suivre les élèves et les résultats des tests standardisés d'une école à l'autre, dans les réserves comme à l'extérieur de celles-ci. Toutefois, rien ne montre que le tout peut être mesuré (et l'exigence remplie) si les données recueillies ne proviennent pas de tous les établissements, y compris ceux des provinces. Compte tenu que ces données ne sont pas disponibles à l'heure actuelle, rien ne prouve que l'exigence puisse être satisfaite sans accord de partage des données, taux d'adoption suffisant ni capacité de suivre les élèves individuellement. De même, la probabilité est forte qu'il ne sera pas possible de remplir les exigences impératives suivantes si l'intégralité des données est lacunaire :

Les conséquences du non-respect des exigences impératives sur les résultats opérationnels sont exposées dans le tableau 1 et détaillées à l'annexe C.

Tableau 1 - Résultats opérationnels influés par l'intégralité et l'intégrité des données, qui dépendent du partage des données avec les provinces et des taux d'adoption du SIE (voir les détails à l'annexe C)

Résultats opérationnels dont l'atteinte est menacée par le manque
d'intégralité et d'intégrité des données

Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint) Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)

Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable) Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)

Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue) Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue)
Présenter un tableau d'ensemble des résultats des programmes d'éducation selon l'école et la collectivité (en assurant la protection des renseignements personnels), par région et à l'échelle nationale, ainsi que par zone géographique. Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)
Fournir le contexte nécessaire pour mesurer les résultats des élèves de façon valable (p.ex. conditions socioéconomiques, infrastructure scolaire), ce qui n'est pas possible à l'heure actuelle. Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)
Faire le suivi des élèves et des cohortes au fil du temps, de la maternelle à l'école secondaire et peut-être même aux études postsecondaires, ce qui n'est pas possible à l'heure actuelle. Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)
Mettre en œuvre la stratégie de mesure du rendement en matière d'éducation des Premières nations d'AINC pour fournir plus d'information sur les résultats et contribuer à l'apport d'améliorations éclairées et à la responsabilisation accrue, tant pour AINC que pour les Premières nations. Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)
Améliorer la gestion des programmes d'éducation et accroître la responsabilisation en réduisant les exigences en matière de rapport, en simplifiant le processus de déclaration et en fournissant en temps opportun des rapports sur la gestion de programme et la mesure du rendement. Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)
Améliorer la qualité des données. Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue)
 

La disponibilité et l'intégrité des données revêtent une importance cruciale. Sans l'adhésion des utilisateurs finaux, les rapports du SIE risquent de ne pas être fiables, compte tenu que des populations entières d'élèves seraient omises de l'analyse comparative. Selon les travaux de recherche sur la mesure du rendement, la relation entre les intrants et les extrants est généralement facile à mesurer tandis que celle entre les intrants et les résultats est plus difficile à déterminer[Note 13]. Il n'est pas certain qu'il soit possible de mesurer efficacement le rendement sans faire le suivi d'une population représentative d'élèves. Par exemple, le déplacement des élèves entre les écoles provinciales et les écoles administrées par une bande, entre les réserves et l'extérieur des réserves, risque de fausser les résultats des indicateurs de rendement, puisqu'on ne saurait pas si les élèves ont décroché ou non.

Lors des entrevues, nous avons constaté que la connaissance des objectifs de mesure de rendement était inégale; en particulier, les membres de la direction avaient des attentes différentes quant à l'utilisation du SIE par suite de sa mise en œuvre. Bien que les attentes relatives aux fonctionnalités du système aient été uniformes, l'information sur la capacité nécessaire pour mettre à profit ces fonctionnalités (rapports utilisables) et le calendrier connexe était nébuleuse.

5.3.3 Résumé

S'il est déterminé que les exigences impératives et les résultats opérationnels ne pourront pas être atteints, à n'importe quelle étape du cycle de l'élaboration de projet, nous nous attendons à ce qu'il y ait une réévaluation du projet, des objectifs et de la conception proposée. En particulier, il convient, d'une part, de déterminer s'il est possible d'atteindre les objectifs de mesure du rendement d'AINC au moyen de populations partielles d'élèves et, d'autre part, d'établir le taux d'adoption du système requis pour bien mesurer le rendement en éducation (c.-à-d. pertinence statistique). De même, si le Ministère considère essentiels les résultats opérationnels et exigences impératives fixés à l'origine, nous nous attendons à ce que la réalisation d'autres investissements soit envisagée pour faire face aux dépendances externes. Rien ne prouve que l'analyse a été effectuée ou que les exigences impératives et résultats opérationnels ont été revus pour rendre compte des contraintes relatives aux données.

Au cours des entrevues, nous avons observé que l'évolution des exigences de mesure du rendement et le manque d'uniformité des attentes quant à l'utilisation du SIE formaient un important sujet de préoccupation. La mesure du rendement efficace dépend de la cohérence de la production de rapports; on ne peut définir des tendances que si les données historiques sont fiables et saisies de façon uniforme et périodique. En conséquence, il est important que les données soient la principale priorité; il doit y avoir une bonne compréhension de la disponibilité, de la fiabilité et de l'utilisation prévue des données avant le début de l'élaboration du système. Nous manquons de preuves pour confirmer que les plans du SIE se fondent sur des exigences de mesure du rendement et des résultats attendus stables. Selon l'OGC, un manque de coordination entre les équipes de projet et les objectifs stratégiques ministériels est la première des huit causes profondes de l'échec des projets gouvernementaux de TI, ce qui met en évidence l'importance des risques liés à l'harmonisation stratégique.

En résumé, nous ne savons pas clairement quelles sont les exigences de mesure du rendement susceptibles d'être satisfaites au moyen des plans de projet actuels. Bien que le projet semble en bonne voie d'offrir un système qui regroupe les données, permet la production de rapports électroniques et aide la fonction de TI d'AINC à gagner en expérience et en maturité, sans capacité programmatique de collecte de données fiables et exhaustives, il sera impossible de mettre à profit la fonctionnalité complexe dans laquelle AINC a investi pour mesurer le rendement.

Constatation 3 : On manque de preuves pour attester que le SIE conduira à l'atteinte des objectifs de mesure du rendement d'AINC. Même si les capacités technologiques en faveur de la satisfaction des exigences système du SIE sont en place, rien n'indique que des données fiables et exhaustives seront accessibles et recueillies pour mettre à profit la technologie et atteindre les résultats opérationnels.



Recommandation 3 : En conjugaison avec la recommandation 2, AINC doit établir clairement le taux d'adoption du SIE et les données qui sont nécessaires pour remplir les exigences impératives et réaliser les résultats opérationnels. Il faut s'assurer d'avoir la capacité de recueillir des données fiables avant de concevoir le système pour les stocker. En particulier, il faut définir avec clarté les résultats de mesure du rendement et les échéanciers connexes, pour éviter un excédent de dépenses ou le remaniement d'un système qui ne pourra pas être exploité dans un délai pertinent.

 

 

6. Conclusion

Nous ne sommes pas en mesure de conclure que le projet de SIE est en voie d'aboutir à la livraison d'un système, de processus et de contrôles, qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation.

Compte tenu de l'importance, de la taille et de la complexité du SIE, nous n'avons pas pu recueillir suffisamment de preuves pour montrer que la conception proposée et la stratégie de mise en œuvre du SIE sont réalisables malgré les contraintes et les dépendances externes. Surtout, nous n'avons aucune information à savoir de quelle façon le projet réalisera les exigences impératives et les résultats opérationnels, pour ainsi permettre l'atteinte des objectifs ministériels de mesure du rendement. Sans la conclusion d'accords de partage des données avec les provinces et l'établissement de cibles d'adoption par les établissements des Premières nations, la probabilité est forte que les exigences impératives et les objectifs de mesure du rendement du projet ne seront pas atteints.

Bien que le projet semble en bonne voie d'offrir un système qui regroupe les données, permet la production de rapports électroniques et aide la fonction de TI d'AINC à gagner en expérience et en maturité, sans capacité programmatique de collecte de données fiables et exhaustives, il sera impossible de mettre à profit la fonctionnalité complexe dans laquelle AINC a investi pour mesurer le rendement. Le projet se soldera par un échec si AINC ne dispose pas des outils et de l'information nécessaires pour exploiter la technologie, et ce, même si l'élaboration du système suit les spécifications techniques. En outre, sans une pleine compréhension des besoins et des données à l'égard de la mesure du rendement, les exigences et attentes relatives au SIE pourraient changer en cours de route, ce qui entraînera un risque important pour le projet.

Nous recommandons au Ministère d'examiner ses attentes envers la mesure du rendement et de confirmer qu'il recueillera systématiquement des données fiables et exhaustives pour bien mettre à profit la technologie du SIE, avant d'investir dans les capacités du système. Il faut ensuite produire un calendrier des résultats prévus en matière de mesure du rendement et estimer le coût total de la propriété. Enfin, la stratégie de mise en œuvre du SIE, le calendrier et la stratégie d'atténuation doivent faire l'objet d'un examen indépendant pour valider qu'ils correspondent bien aux attentes d'AINC et du CT et répondent le mieux possible aux exigences opérationnelles.

 

 

7. Réponse de la direction aux recommandations de la vérification

Le Secteur de la vérification et de l'évaluation d'AINC a embauché la firme Ernest and Young pour mener une vérification du SIE pendant que le projet en est encore aux étapes d'élaboration préliminaires à l'approbation définitive de projet (ADP). La vérification a eu lieu alors que les documents et les livrables associés à la présentation visant l'ADP étaient en cours d'élaboration. Des progrès en lien avec les conclusions de la vérification ont été accomplis depuis, notamment au niveau de l'approbation par les membres du Conseil du Trésor.

La réponse de la direction tient compte des progrès accomplis dans le cadre du projet depuis l'ébauche des documents ayant fait l'objet de la vérification.

Le rapport de la vérification contient trois (3) recommandations particulières fondées sur les conclusions de celle-ci.

Tableau 2 : Recommandations de la vérification

No Recommandations de la vérification Plan d'action
Plan Date Responsable
1. En consultation avec les intervenants du projet et l'équipe responsable de la stratégie de mesure du rendement en matière d'éducation, il faut tenter de déterminer si des mesures préventives peuvent être prises pour atténuer le risque. Tout spécialement, il faut envisager la réalisation des activités suivantes pour gérer les risques associés à l'échéancier :
  1. Élargir la portée du projet de SIE afin qu'il englobe les principales dépendances externes, en particulier celles dont le coût sera au bout du compte absorbé par AINC, indépendamment du projet de SIE;
  2. Réévaluer l'exigence d'une entrée en service en septembre 2012 et envisager de prendre les mesures suivantes, en rajustant en conséquence le plan, le budget et la stratégie de communication du projet :
    1. Accroître la marge de manœuvre entre les jalons clés, surtout la conversion de données;
    2. Faire une mise en œuvre pilote avant l'entrée en service en un seul temps ou procéder à une mise en œuvre graduelle, pour repérer et régler les principaux problèmes avant de rendre le système accessible à tous les utilisateurs.
Les mesures préventives recommandées dans la vérification pour atténuer les risques liés à l'échéancier ont été ciblées et traitées lors de la préparation de la présentation au Conseil du Trésor (CT) visant l'obtention de l'approbation définitive de projet.

Voici les principales activités connexes réalisées pendant le processus visant l'approbation définitive de projet :

  • L'ébauche de la portée du SIE a été revue et la nouvelle version, les coûts ainsi que les dépendances de projet connexes ont été approuvés par le sous-ministre adjoint, Programmes et partenariats en matière d'éducation et de développement social (PPEDS), le dirigeant principal des finances et le Conseil du Trésor.
  • Dans la version finale de la présentation au CT (pour l'ADP), on a réétudié et validé la nécessité de fixer une date d'entrée en service pour septembre 2012. Le calendrier de projet révisé prévoit que l'application du SIE sera terminée au printemps 2012, ce qui laisse une importante marge de manœuvre en vue de l'entrée en service prévue pour septembre 2012.
  • Les principes de durée de vie des systèmes établis du Ministère seront pleinement appliqués afin que les composantes jugées plus à risque du SIE soient incluses dès le début des itérations de développement, ce qui laissera davantage de temps pour les essais de système, d'intégration et d'acceptation par l'utilisateur.
  • Une stratégie de conversion a été élaborée et utilisée dans le plan de projet de la demande d'approbation définitive de projet. Les activités de conversion se dérouleront en quatre itérations s'étalant sur 16 mois à partir du printemps 2011. Les données converties seront utilisées dans les trois phrases d'essais d'acceptation par l'utilisateur, ce qui permettra également de valider le processus de conversion et les données bien avant la mise en œuvre.
  • On s'est fondé sur les stratégies d'essai existantes pour rédiger un plan d'essai assurant que tous les principaux groupes d'intervenants sont représentés lors des essais d'acceptation par l'utilisateur et que les quatre composantes de la solution (itérations) sont testées de manière approfondie avant leur lancement.
   
De plus, le projet prévoit :

1. La rédaction d'un plan de nettoyage des données basé sur la stratégie de conversion annuelle. Le plan détaillera les rôles et les responsabilités de chacun, le calendrier et les coûts du projet et sera approuvé par les intervenants concernés;

2011-03-31 DG - Éducation
2. Élaborer une stratégie de mise en œuvre fondée sur l'approche de mise en œuvre actuelle, qui :
  1. Inclut des stratégies d'atténuation des risques, y compris la possibilité de lancer la solution en plusieurs itérations;
  2. Comprend des occasions de mettre en place des pilotes ou des prototypes de composantes de solution au fur et à mesure qu'ils sont offerts.
2011-03-31 Dirigeant principal de l'information
2. AINC doit déterminer, en marge de l'équipe du projet de SIE, si la conception du système est possible du point de vue stratégique (mesure du rendement), technologique et économique. Le Ministère doit estimer le coût total de la propriété du SIE en fonction de toutes les exigences opérationnelles et de système et des résultats affirmés avec un degré de précision acceptable. Le récent achèvement de la demande d'approbation définitive de projet et son approbation par la haute direction d'AINC et le Conseil du Trésor ont permis de faire l'examen des orientations technologiques, stratégiques et économiques du projet. Dans le but d'optimiser les possibilités d'examen, on veillera à ce que les deux (2) examens de validation et de vérification indépendants intégrés au calendrier du projet comprennent des activités d'évaluation pour vérifier que le projet est toujours sur la bonne voie et que le plan tient bien compte des principales conclusions de la vérification.
  • Une telle approche tient compte de la validité de la recommandation de la vérification en ce qui a trait à une évaluation indépendante ainsi que des activités visant à traiter les risques immédiats qui ont eu lieu au cours du processus d'approbation définitive de projet.
  • Le projet intègre deux nouvelles activités indépendantes de validation et de vérification au calendrier et au budget afin de vérifier ponctuellement les progrès et de déterminer les correctifs qui pourraient être nécessaires.
  • Un examen de l'ébauche de la portée du projet et des coûts connexes a été entrepris lors de la phase de planification de l'approbation définitive de projet, et la portée finale ainsi que le budget ont été approuvés par PPEDS et la Direction générale de la gestion de l'information.
  • Parallèlement à la poursuite des travaux afin de définir plus précisément les responsabilités et les autorisations de financement des principales dépendances du projet, on a mis au point des stratégies d'atténuation qui permettront que le projet soit livré avec succès sans dépendre d'un financement autre que celui de PPEDS.
   
De plus, le projet prévoit les mesures suivantes :

1. Mise à jour des prévisions et recensement des dépendances pouvant être financées dans le cadre du projet;

2010-11-30 DG - Éducation
2. Confirmation des sources de financement pour les dépendances restantes; 2010-12-31 SMA - PPEDS/DPI
3. Modification du plan de projet en fonction des manques à gagner se rapportant au financement des dépendances. 2011-02-28 DG - Éducation
3. En conjugaison avec la recommandation 2, AINC doit établir clairement le taux d'adoption du SIE et les données qui sont nécessaires pour remplir les exigences impératives et réaliser les résultats opérationnels. Il faut s'assurer d'avoir la capacité de recueillir des données fiables avant de concevoir le système pour les stocker. En particulier, il faut définir avec clarté les résultats de mesure du rendement et les échéanciers connexes, pour éviter un excédent de dépenses ou le remaniement d'un système qui ne pourra pas être exploité dans un délai raisonnable. Dans le cadre du projet, on cherche activement à développer la capacité de recueillir des données fiables et on continuera à traiter les préoccupations à ce sujet :

1. En obtenant l'approbation ministérielle de la stratégie de mesure du rendement en matière d'éducation;

2010-11-30 DG - Éducation
2. En déterminant les principaux critères de réussite, y compris le taux d'adoption; 2010-12-31 DG - Éducation
3. En mettant au point les activités de recensement des données (déterminer la disponibilité des données nécessaire pour les mesures du rendement prévues); 2010-12-31 DG - Éducation
4. En terminant les modifications à apporter aux instruments de collecte de données pour soutenir la mesure du rendement du SIE.

Remarques :

  1. Le responsable reconnaît que même si le nettoyage des données améliore la qualité des données historiques, certains problèmes de qualité demeureront de même que des lacunes dans les données historiques disponibles;
  2. De plus, le responsable reconnaît que certaines données compilées dans le SIE pourraient ne pas être disponibles lors de l'entrée en service du système, car elles dépendent de la réussite de négociations tripartites qui excèdent la portée du projet.
    • Pour le moment, la liste nominative, première source de renseignements sur l'éducation, est disponible pour les élèves des Premières nations financés par AINC et qui fréquentent une école provinciale. Des discussions tripartites sont en cours afin de rendre disponibles d'autres renseignements au niveau provincial (p. ex. littératie et numératie);
    • Les groupes de travail des régions et de l'administration centrale continueront à améliorer la qualité des données.
2010-12-31 DG - Éducation
 

 

Annexe A - Sommaire des principales dépendances externes

Dans la présente annexe, nous présentons les dépendances de projet dont il est question aux sections 5.1 et 5.2, comme l'a demandé la partie responsable de la majorité des coûts connexes (c.-à-d. « l'exploitant »). Les observations de la vérification et les risques relatifs à chaque dépendance figurent dans le tableau ci-dessous, de même qu'une évaluation de la probabilité du risque en ce qui a trait aux domaines de contrainte suivants :

En résumé, nous avons repéré 14 dépendances externes, qui créent des risques dans les trois principaux domaines de contrainte du projet, soit le calendrier, le coût et la qualité. Six des dépendances sont la « responsabilité » de l'équipe du projet du SIE, tandis que les huit autres relèvent des exploitants de système d'AINC et des Premières nations. Selon les plans de projet actuels, plusieurs facteurs sur lesquels les équipes de projet n'ont aucun pouvoir risquent d'influer sur la réussite du projet; en outre, les plans supposent d'autres frais pour le Ministère qui ne sont pas inclus dans le budget.

Dépendance Responsable Observations, risques et raisonnement liés à l'évaluation de la probabilité Évaluation de la probabilité
Retards
dans le
calendrier
Coûts
additionnels
Qualité
défectueuse
Échange de données du SII SIE
  • Plusieurs exigences impératives mettent en jeu l'échange de données du SII, y compris les vérifications de la qualité des données à l'aide du SII lors de la saisie dans le SIE
  • Le SII pourrait faire l'objet d'un développement prochain – aucune preuve à savoir si l'équipe de projet de SIE a tenu compte du développement et aucune information sur les répercussions possibles
  • Il pourrait y avoir des répercussions sur la protection des renseignements personnels du fait de l'agrégation des données entre de multiples sources de renseignements personnels
Élevée Moyenne Élevée
Conformité avec la stratégiede mesure du rendement en matière d'éducation SIE
  • Le SIE dépend fortement de l'achèvement de la stratégie de mesure du rendement et de la confirmation des mesures de rendement
  • Les changements visant la stratégie influeront l'élaboration et le calendrier du SIE
  • La stratégie en soi peut comporter des dépendances, y compris des accords de partage des données et des considérations liées à la protection des renseignements personnels
Élevée Moyenne Élevée
Intégration du système PTPNI (résultat de changements dans le plan de projet par suite de l'APP) SIE et AINC
  • Le SIE dépend de la disponibilité des ressources du système PTPNI pour la conception et la mise en œuvre de l'intégration
  • Parce que d'autres initiatives au Ministère sont en concurrence pour les ressources du système PTPNI, il se pourrait que les analystes et les développeurs ne soient pas disponibles au moment qui convient selon le calendrier du projet de SIE, ce qui accentue les risques suivants :
    • Compromission du SIE en raison de faiblesses technologiques relatives à l'intégration du système PTPNI
    • Compromission du système PTPNI en raison de faiblesses technologiques relatives à l'intégration du SIE
    • Frais potentiels à assumer par AINC
Élevée Moyenne Moyenne
Transition des ressources entre deux phases d'approvisionnement distinctes de la passation de marchés (« volets ») SIE
  • De nombreux mécanismes d'approvisionnement serviront à s'assurer les services de tiers (ressources) pour l'élaboration et la mise en œuvre du projet
  • Le moment où commenceront les contrats et leurs bons résultats auront un effet sur le projet; en particulier, les changements de ressources et les discontinuités sont un risque à mi-chemin de la phase d'élaboration
Élevée Moyenne Basse
Échange de données de l'EDE SIE
  • Le SIE est tributaire de la disponibilité des données d'autres systèmes dans l'EDE
  • Rien n'indique que des accords internes de partage des données sont en place pour permettre l'échange de données avec l'EDE
  • Le développement de l'EDE ou de systèmes qui l'alimentent risque d'influer sur le calendrier et le coût du projet de SIE
Élevée Moyenne Basse
Contraintes liées à la protection des renseignements personnels SIE
  • Les répercussions sur la protection des renseignements personnels sont une importante dépendance, car elles sont susceptibles de décider de la façon dont les données seront recueillies, utilisées (y compris l'agrégation entre systèmes) et mises en commun ainsi que des accords qui devront être en place pour ce faire
  • L'Évaluation des facteurs relatifs à la vie privée est en cours. Son résultat pourra exiger l'apport de changements aux plans du SIE actuels (les plans prévoient une certaine part de données de niveau « protégé B »)
Moyenne Moyenne Moyenne
Matériel informatique et logiciels des Premières nations   Premières nations
  • En raison du SIE, des Premières nations devront peut-être acheter du nouveau matériel informatique et des logiciels (dont le coût pourra être assumé dans le cadre de programmes de financement indépendants), ce qui accroît le coût hors du cadre du projet de SIE et pourrait entraîner certaines difficultés techniques sur les lieux
  • La situation pourra être à l'origine d'un faible taux d'adoption du SIE et d'une hausse de la production de rapports papier
Moyenne Élevée Moyenne
Connectivité des Premières nations Premières nations
  • Par suite de l'APP, on a retiré de la portée du projet de SIE la mise en œuvre d'une solution autonome en matière de connectivité pour les collectivités qui n'ont pas accès à Internet
  • La situation pourra entraîner une hausse de la production de rapports papier et nuire à l'adoption du SIE
Basse Moyenne Élevée
Adoption du SIE par les Premières nations, y compris les modes d'utilisation Premières nations et AINC
  • Élément central du projet, l'adoption du système comporte plusieurs aspects, notamment :
    • Volonté de suivre les indicateurs de rendement clés
    • Négociations et accords à l'égard du partage des données
    • Compatibilité des systèmes des écoles, ce qui sous-entend que des Premières nations devront peut-être investir dans du nouveau matériel et des logiciels
    • Capacité de fournir des rapports électroniques, ce qui met en jeu la connectivité
  • Le degré d'adoption et les modes d'utilisation risquent d'influer sur l'intégrité des données (ce qui touche la mesure du rendement), la charge de travail liée à la saisie manuelle des données (dont la réduction est une exigence impérative) et le calendrier de projet
Basse Élevée Élevée
Nettoyage des données AINC
  • Le nettoyage des données de systèmes existants, qui sera effectué avant la conversion des données de ces systèmes au SIE (en conformité avec les exigences impératives), ne figure pas dans la portée du projet de SIE
  • Le coût du nettoyage est assumé par les exploitants. Toutefois, nous n'avons pas de preuve de l'existence d'estimations de coût ou d'ententes relatives aux coûts pour les exploitants de système
  • La qualité des données importées dans le SIE risque d'être touchée
Élevée Élevée Élevée
ICD propres à chaque région AINC
  • Il n'y a aucune information au sujet de la façon dont le projet de SIE assurera le recours à des techniques de mesure uniformes
  • Il y a un risque d'alourdir le fardeau financier des régions d'AINC
  • Dix exigences impératives liées aux ICD propres aux régions risquent de ne pas être remplies
Moyenne Moyenne Élevée
Négociations à l'égard du partage des données et conclusion d'accords détaillés de partage des données AINC
  • Nous n'avons aucune preuve de la conclusion d'accords de partage des données avec :
    • les établissements d'enseignement provinciaux
    • les Premières nations
    • les exploitants de système d'AINC
  • Les données provenant des provinces, des Premières nations et d'autres systèmes d'AINC sont nécessaires en vue de réaliser plusieurs exigences impératives et résultats opérationnels et de mesurer efficacement le rendement
  • Bien que l'on considère les accords de partage des données avec les provinces comme indépendants du projet de SIE,  ils déterminent si les exigences impératives pourront être satisfaites
Moyenne Moyenne Élevée
Saisie des données de rapports papier dans le SIE AINC
  • Les risques suivants à l'égard de la saisie des données de rapports papier sont fortement tributaires des taux d'adoption du SIE et des méthodes de déclaration :
    • Augmentation des coûts pour les bureaux régionaux d'AINC (aucune preuve de la réalisation d'estimations de coût)
    • Arriéré potentiel de la saisie de données
    • Données erronées nuisant à l'intégrité des rapports sur la mesure du rendement
    • Risque de non-atteinte de l'exigence impérative de réduire la charge de travail associée à la saisie de données pour les Premières nations et AINC
Sans objet* Moyenne Élevée
Coût du soutien permanent dépassant le financement annuel de 450 000 $ et jugé inadéquat à l'étape de l'APP AINC
  • Le coût du soutien permanent, qui devrait être assumé par le Ministère et le Programme de réussite scolaire des étudiants des Premières nations, comprend les volets suivants :
    • Infrastructure et fonctionnement – licences d'utilisation de logiciel, matériel informatique et entretien
    • Soutien des applications et architecture – entretien du matériel et des logiciels
    • EDE - entretien du matériel et des logiciels
    • Formation continue - infrastructure de soutien, processus et ressources
    • Grands utilisateurs du SIE (Premières nations) - Arrangements annuels (déplacement, hébergement) pour la formation
  • Il a été impossible de valider les estimations de coût et hypothèses pour les éléments ci-dessus; Toutefois, l'équipe de projet a évalué que le coût de la formation à lui seul s'élèverait à 3,3 M$
Sans objet* Élevée Moyenne
Mise hors service des anciens systèmes AINC
  • Nous n'avons aucune preuve de l'engagement des exploitants à mettre hors service les anciens systèmes selon le calendrier prévu
  • La mise hors service, qui est une exigence impérative hors du champ du projet de SIE, pourrait ne pas avoir lieu
  • Ainsi, des systèmes maison risquent d'être utilisés en plus du SIE, après l'entrée en service
Sans objet* Basse Élevée

* Nous considérons ces dépendances comme « sans objet » pour le calendrier du projet, car les activités commenceront après la date de livraison prévue.

 

 

Annexe B - Principaux éléments de la réussite du projet de Système d'information sur l'éducation

Le succès du SIE non seulement va de pair avec celui du projet de TI (soit la livraison d'un système selon les spécifications), mais dépend aussi de la capacité organisationnelle de mettre à contribution la technologie et d'atteindre les objectifs stratégiques liés à la mesure du rendement. Nous présentons dans le tableau les critères que nous considérons comme des facteurs de réussite essentiels du SIE (au-delà du respect des échéanciers de projet, du budget et des spécifications techniques) selon l'information accessible durant la vérification.

Principaux facteurs de réussite du SIE
Succès relatif aux principaux indicateurs de rendement pour l'atteinte des résultats du SIE énoncés dans la planification de projet :
Soutien efficace de la stratégie de mesure du rendement en matière d'éducation du Ministère :
Réalisation de toutes les exigences impératives et des 11 résultats opérationnels suivants :
  1. Présenter un tableau d'ensemble des résultats des programmes d'éducation selon l'école et la collectivité, par région et à l'échelle nationale, ainsi que par zone géographique
  2. Fournir le contexte nécessaire pour mesurer les résultats des élèves de façon valable (p. ex. conditions socioéconomiques, infrastructure scolaire)
  3. Faire le suivi des élèves et des cohortes au fil du temps, de la maternelle à l'école secondaire et peut-être même aux études postsecondaires
  4. Mettre en œuvre la stratégie de mesure du rendement en matière d'éducation des Premières nations d'AINC pour fournir plus d'information sur les résultats et contribuer à l'apport d'améliorations éclairées et à la responsabilisation accrue, tant pour AINC que pour les Premières nations
  5. Améliorer la gestion des programmes d'éducation et accroître la responsabilisation :
    • Réduire les exigences en matière de rapport en diminuant la redondance et en simplifiant le processus de déclaration
    • Améliorer la qualité des données en simplifiant la collecte d'information
    • Faciliter le repérage précoce des anomalies pour déclencher l'examen automatique des rapports
    • Établir des liens entre les résultats des programmes d'éducation et les renseignements financiers d'AINC pour mieux évaluer les dépenses liées aux résultats
    • Présenter en temps opportun des rapports sur la gestion des programmes et la mesure du rendement
  6. Améliorer la qualité des données
  7. Collaborer avec les Premières nations pour définir les indicateurs du rendement qui serviront à déterminer des exigences accrues relatives aux données du SIE
  8. Soutenir les fonctions de vérification de l'ouverture de session (qui, quoi, quand) pour accéder à l'information du SIE
  9. Améliorer la capacité de former les nouveaux utilisateurs de façon continue et de former les utilisateurs en cas de changements apportés au système
  10. Rendre le SIE convivial pour encourager les Premières nations à l'utiliser
  11. Composer avec les différents niveaux de participation des Premières nations en fournissant des interfaces et des options de capture de données qui rendent compte des degrés variables de connectivité, de compétences informatiques et d'aisance avec la technologie, pour ainsi diminuer les exigences de formation, le soutien technique et le recours au centre de dépannage
 

 

Annexe C - Résultats opérationnels qui dépendent du taux d'adoption du système et du partage des données

Dans le tableau, nous fournissons des détails sur les résultats opérationnels (présentés au tableau 1 de la section 5.3) qui dépendent d'exigences impératives susceptibles de ne pas être remplies. En particulier, sans un partage de données suffisant avec les Premières nations et les écoles provinciales, il n'est pas clair que le SIE parviendra à obtenir les résultats. Bien que le système soit conçu pour offrir les capacités technologiques requises, les résultats opérationnels ne pourront pas être réalisés si on ne dispose pas des données pour mettre à contribution ces capacités

Légende (selon les plans de projet et l'état du projet avant l'ADP) :

Résultats opérationnels dont l'atteinte est menacée par le manque
d'intégralité et d'intégrité des données

Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint) Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)

Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable) Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)

Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue) Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue)
Résultats opérationnels Observations et évaluation
Présenter un tableau d'ensemble des résultats des programmes d'éducation selon l'école et la collectivité (en assurant la protection des renseignements personnels), par région et à l'échelle nationale, ainsi que par zone géographique La réalisation du résultat dépend du partage de données avec tous les établissements d'enseignement,y compris les établissements provinciaux

Certaines Premières nations ont négocié des accords spéciaux ou des accords sur l'autonomie gouvernementale. Leurs obligations en matière de rapport peuvent ne pas être les mêmes (niveau de détail ou rapports à fournir) pour certains aspects du programme d'éducation. La situation risque d'empêcher de fournir un tableau « complet », en conformité avec le résultat opérationnel
Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)
Fournir le contexte nécessaire pour mesurer les résultats des élèves de façon valable (p. ex. conditions socioéconomiques, infrastructure scolaire), ce qui n'est pas possible à l'heure actuelle La réalisation du résultat dépend des techniques avancées de mesure du rendement ainsi que de l'intégralité et de la fiabilité des données, influées par les taux d'adoption des Premières nations et le partage de données avec les provinces Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)
Faire le suivi des élèves et des cohortes au fil du temps, de la maternelle à l'école secondaire et peut-être même aux études postsecondaires, ce qui n'est pas possible à l'heure actuelle La réalisation du résultat dépend de l'intégralité et de la fiabilité des données, influées par les taux d'adoption des Premières nations et le partage de données avec les provinces, ainsi que de la capacité de suivre les élèves (et les cohortes) qui se déplacent entre les réserves et l'extérieur de celles-ci Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)
Mettre en œuvre la stratégie de mesure du rendement en matière d'éducation des Premières nations d'AINC pour fournir plus d'information sur les résultats et contribuer à l'apport d'améliorations éclairées et à la responsabilisation accrue, tant pour AINC que pour les Premières nations La réalisation du résultat dépend de l'intégralité et de la fiabilité des données, influées par les taux d'adoption des Premières nations et le partage de données avec les provinces Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)
Améliorer la gestion des programmes d'éducation et accroître la responsabilisation en réduisant les exigences en matière de rapport, en simplifiant le processus de déclaration et en fournissant en temps opportun des rapports sur la gestion de programme et la mesure du rendement La réalisation du résultat dépend des taux d'adoption du système et des méthodes de collecte des données (papier, PDF, saisie de données en ligne, extrait de données électroniques envoyé par la poste à AINC ou téléversements d'un système local) Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)
Améliorer la qualité des données La réalisation du résultat dépend des taux d'adoption du système et des méthodes de collecte des données (papier, PDF, saisie de données en ligne, extrait de données électroniques envoyé par la poste à AINC ou téléversements d'un système local) ainsi que du nettoyage efficace des données Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue)
 

 

Notes en bas de page :

  1. Dans le rapport, on utilise également l'expression « le Ministère ». (retourner au paragraphe source)
  2. La vérification a été menée conformément aux exigences de la Politique sur la vérification interne du Conseil du Trésor et aux Normes pour la pratique professionnelle de l'audit interne de l'Institut des vérificateurs internes. Il ne s'agit pas d'une vérification ou d'un examen selon les normes de vérification généralement reconnues (NVGR). (retourner au paragraphe source)
  3. AINC Programmes sociaux (retourner au paragraphe source)
  4. AINC Éducation (retourner au paragraphe source)
  5. Selon les entrevues menées, cette capacité se rapporte à l'emmagasinage de données permettant aux utilisateurs de générer des rapports sur les résultats de l'année, mais aussi en fonction des tendances historiques constatées pour un échantillon représentatif de la population (p. ex. cohorte d'élèves). (retourner au paragraphe source)
  6. Le même calendrier figure dans l'analyse de rentabilité du SIE. (retourner au paragraphe source)
  7. EASON, K. Information technology and organisational change, Taylor & Francis, 1998. ARDIS, M. A. et B. L. MARCOLIN. Diffusing Software Product and Process Innovations, Kluwer Academic Publishers, 2001. ORGANISATION DE COOPÉRATION ET DE DÉVELOPPEMENT ÉCONOMIQUES. La budgétisation axée sur la performance dans les pays de l'OCDE, 2007. (retourner au paragraphe source)
  8. MAYDANCHIK, A. Data Quality Assessment (from the Data Quality for Practitioners Series), Technics Publications LLC, 1997. (retourner au paragraphe source)
  9. Le même calendrier figure dans l'analyse de rentabilité du SIE. (retourner au paragraphe source)
  10. MAYDANCHIK, A. Data Quality Assessment (from the Data Quality for Practitioners Series), Technics Publications LLC, 1997.(retourner au paragraphe source)
  11. KERZNER, H. Advanced project management: best practices on implementation, John Wiley and Sons, 2004. (retourner au paragraphe source)
  12. Évaluation formative du Programme d'enseignement primaire et secondaire dans les réserves (retourner au paragraphe source)
  13. Institut d'administration publique du Canada (IAPC), 2008. (retourner au paragraphe source)
 
 
Date de modification :