Propulsé par le RAAMM

Analyse des résultats

Analyse des résultats des évaluations d’accessibilité

Janvier 2019

Le projet Changement social pour un Web accessible a été réalisé grâce au soutien financier de la Fondation Béati, de l’Office des personnes handicapées, de l’École d’optométrie de l’Université de Montréal et de la Fondation Cypihot-Ouellet que nous tenons à remercier chaleureusement.

1. Introduction

Si le Web nous ouvre les portes du monde et de la connaissance, il est également truffé d’obstacles à la navigation pour les personnes vivant avec une incapacité fonctionnelle.

C’est en raison de l’importance de l’accessibilité du Web dans la capacité d’une personne handicapée visuelle à avoir accès à de l’information de toute sorte que le Regroupement des aveugles et amblyopes du Montréal métropolitain (RAAMM) a décidé de se pencher sur ce dossier. Ainsi, c’est dans le cadre du projet « Changement social pour un Web accessible » que nous avons procédé à l’évaluation de sites Web d’organisations de divers domaines (éducation, alimentation, transports, santé, télécommunications, finances, culture, etc.) afin de dresser un portrait global de l’accessibilité des sites Web québécois francophones.

Les données présentées dans ce bilan sont tirées des tests effectués entre les mois de mai et décembre 2018. Ils constituent une vision d’ensemble de la situation à un moment spécifique; la situation peut avoir évolué depuis. Ce portrait pourrait ne pas refléter les efforts effectués depuis par les responsables de certains sites Web en vue d’en améliorer l’accessibilité ou à l’inverse une diminution de l’accessibilité de leur site Web lors de travaux de mise à jour.

2. Évaluation de l’accessibilité des sites Web

Deux types d’évaluation ont été effectués. L’ensemble des sites Web du projet a fait l’objet d’une évaluation automatique en ligne alors qu’une plus petite sélection de sites a fait l’objet d’une évaluation fonctionnelle réalisée par des bénévoles supervisés par le coordonnateur du projet.

Soulignons que seule la partie informationnelle des sites Web a été testée. Il est plus difficile de réaliser l’évaluation d’une section transactionnelle de site Web en raison du nombre important d’étapes dans un processus de transaction financière ou de commerce électronique. Nous avons donc décidé d’exclure ce type d’évaluation dans le cadre du présent projet.

Vous pouvez consulter l’ensemble des évaluations au www.labo.raamm.org/portrait-global. Les résultats individuels doivent être interprétés avec prudence car ils sont basés sur un très petit échantillon de pages pour un même site. D’autre part, aucun outil d’évaluation automatique n’étant parfait, WAVE peut détecter de fausses erreurs (faux positifs) ou au contraire échapper d’autres erreurs. Au-delà des résultats individuels, c’est le portrait de la situation globale de l’accessibilité du Web au Québec qui nous intéresse.

2.1 Les évaluations automatiques

960 sites Web ont fait l’objet d’une évaluation automatique à l’aide de l’outil Wave créé par l’organisme américain WebAIM et jouissant d’une excellente réputation internationale.

Nous avons sélectionné 3 types de pages à évaluer par site Web :

  • Page d’accueil;
  • Page de formulaire;
  • Page utilisant un composant interactif (accordéon, onglet, carrousel, etc.).

Dans certains cas, nous n’avons pas été en mesure d’identifier des pages correspondant à chacun de ces types sur un même site. Dans ces cas, nous avons fait le choix de procéder à l’évaluation de 2 pages seulement.

2.1.1 Échelle de notation

Nous avons élaboré une échelle de notation sur 10. La cote de chaque page a été calculée selon l’impact de chaque type de problème identifié, selon que le problème était jugé mineur (perte de 0,5 point) ou majeur (perte de 1 point). La moyenne des cotes des pages évaluées pour un même site constitue la cote globale du site Web.

Les problèmes majeurs peuvent rendre un élément inutilisable alors qu’un problème mineur constitue un obstacle que certains utilisateurs arriveront à contourner. Par exemple, une image sans description est considérée comme un problème mineur, mais si cette image est utilisée comme lien, le problème est alors majeur puisque l’utilisateur ne peut savoir où conduit ce lien. De même, un problème de contraste est considéré comme mineur alors que des étiquettes manquantes, vides ou mal associées avec un champ de formulaire est une erreur majeure.

Tableau 1 : Échelle de notation
Cote Description Explication
9-10/10 Excellent (1 type d’obstacle majeur ou 2 types d’obstacles mineurs)

Un grand nombre d’utilisateurs ayant des limitations fonctionnelles significatives devrait réussir à naviguer de façon autonome sur ce site Web.

8-8.9/10 Très bon (2 types d’obstacle majeurs ou 4 types d’obstacles mineurs)

La plupart des utilisateurs ayant des limitations fonctionnelles significatives devraient réussir à naviguer de façon autonome sur ce site Web.

7-7.9/10 Passable (3 types d’obstacles majeurs ou 6 types d’obstacles mineurs)

1 utilisateur ayant des limitations fonctionnelles significatives sur 2 pourrait réussir à naviguer de façon autonome sur ce site Web.

6-6.9/10 Faible (4 types d’obstacles majeurs ou 8 types d’obstacles mineurs)

Certains utilisateurs ayant des limitations fonctionnelles significatives pourraient réussir à naviguer de façon autonome sur ce site Web.

5-5.9/10 Problématique (5 types d’obstacles majeurs ou 10 types d’obstacles mineurs)

Peu d’utilisateurs ayant des limitations fonctionnelles significatives pourraient réussir à naviguer de façon autonome sur ce site Web.

4-4.9/10 Très problématique (6 types d’obstacles majeurs ou 12 types d’obstacles mineurs)

Très peu d’utilisateurs ayant des limitations fonctionnelles significatives pourraient réussir à naviguer de façon autonome sur ce site Web.

3.9 et moins/10 Inutilisable (7 types d’obstacles majeurs ou 14 types d’obstacles mineurs et plus)

Pratiquement aucun utilisateur ayant des limitations fonctionnelles significatives fonctionnelles ne devrait réussir à naviguer de façon autonome sur ce site Web.

2.2 Les évaluations fonctionnelles

À partir des priorités identifiées par sondage auprès de nos membres, 125 sites ont été sélectionnés parmi les 960 déjà évalués pour faire l’objet d’une évaluation fonctionnelle.

Les évaluations fonctionnelles étaient basées sur un questionnaire portant sur des problèmes qui ne pouvaient être détectés par l’évaluation automatique et en particulier tous les éléments interactifs dont il fallait vérifier la compatibilité avec les lecteurs d’écran : menus déroulants, validation de formulaires, accordéons, panneaux à onglets,  boites de dialogue, arborescences, carrousels, calendriers et tableaux de données.

Les évaluations fonctionnelles avaient donc pour objectif de compléter le portrait offert par les évaluations automatiques. Cependant, elles n’ont pas été prises en considération dans le calcul de la cote globale accordée à un site étant donné le grand nombre de sites pour lesquels nous n’avons pas effectué d’évaluation fonctionnelle. Toutefois, le nombre d’erreurs fonctionnelles mérite autant de considération que la cote automatique, car il reflète davantage l’utilisabilité d’un site.

Les évaluations fonctionnelles ont été confiées à une dizaine de duos bénévoles  formés d’une personne handicapée visuelle et d’une personne sans incapacité visuelle. En naviguant simultanément sur le même site Web, nos duos de testeurs ont observé l’accessibilité de ses différents composants. Le bénévole sans incapacité visuelle était en mesure de constater lorsque les outils d’adaptation ignoraient certains contenus (par exemple, les menus déroulants du menu principal) et de prendre en note les commentaires de la personne handicapée visuelle.

Elles ont été réalisées sur une période de 6 mois. Chaque évaluation exigeant environ 90 minutes pour 3 pages, cela représente près de 400 heures d’implication de nos membres et de nos bénévoles. Certains sites plus problématiques ont nécessité plus d’efforts, de patience et de persévérance de la part de nos équipes de testeurs. Nous  exprimons donc une immense gratitude aux personnes qui se sont dévouées à cette tâche souvent ingrate.

3. Résultats

3.1 Résultats des évaluations automatiques

Tableau 2 : Répartition des sites par cote
Cote Nombre de sites % de sites
9-10 Excellent 15 1,5%
8-8.9 Très bon 50 5,2%
7-7.9 Passable 106 11,1%
6-6.9 Faible 189 19,7%
5-5.9 Problématique 192 20%
4-4.9 Très problématique 185 19,3%
0-3.9 Inutilisable 223 23,3%
TOTAL 960 100%

*Note : les pourcentages ont été arrondis à la première décimale.

3.2 Résultats des évaluations fonctionnelles

Tableau 3 : Nombre de problèmes fonctionnels identifiés, par cote
Cote Plus petit nombre pour un même site Plus grand nombre pour un même site Nombre moyen Nombre de sites évalués
9-10 3 4 3,5 2 sur 15
8-8.9 2 13 6  9 sur 50
7-7.9 2 31 11,2 16 sur 106
6-6.9 1 24 12,0  24 sur 189
5-5.9 3 26 12,2 26 sur 192
4-4.9 1 42 16,2  18 sur 185
3.9 et moins 1 34 13,5  34 sur 223

3.3 Obstacles les plus fréquents

Évaluations automatiques :

  • Contraste de couleur trop faible, dans 90% des sites
  • Champ de formulaire sans étiquette associée, dans 60% des sites
  • Lien-image sans texte de remplacement, dans 44% des sites
  • Cadre sans titre, dans 39% des sites
  • Image sans texte de remplacement, dans 36% des sites

Évaluations fonctionnelles (problèmes de compatibilité avec les lecteurs d’écran) :

  • Carrousel, dans 71% des sites
  • Gestion des erreurs dans les formulaires, dans  69% des sites
  • Accordéon, dans 59% des sites
  • Panneau à onglet, dans 53% des sites
  • Menu de navigation, dans 31% des sites

3.4 Analyse des résultats par catégories

Nous avons fixé le niveau minimalement acceptable d’accessibilité d’un site Web  à la cote 7, « passable », soit lorsqu’un utilisateur sur 2 est capable d’y naviguer de façon autonome. Ainsi, seulement 17,8% des sites évalués dans le cadre de ce projet obtiennent la cote « passable » ou mieux. À l’inverse, 82,3% des sites évalués n’atteignent pas ce niveau. Nous estimons que ce portrait reflète l’état général de l’accessibilité du Web au Québec.

Tableau 4 : Répartition des sites Web selon l’atteinte du niveau « passable » d’accessibilité, par catégories
Catégories Nombre de sites Niveau « passable » atteint (cotes 7 à 10) Niveau « passable » non atteint  (cotes 6,9 et moins)
Alimentation 140 31

(22%)

109

(77,9%)

Commerce en ligne 61 4

(6,6%)

57

(93,4%)

Culture 186 36

(19,4%)

150

(80,6%)

Éducation 161 9

(5,6%)

152

(94,4%)

Entreprises privées 54 10

(18,5%)

44

(81,5%)

Gouvernemental 117 39

(33,3%)

78

(66,7%)

Institutions financières 13 2

(15,4%)

11

(84,6%)

Municipal 50 1

(2%)

49

(98%)

Organismes communautaires 50 14

(28%)

36

(72%)

Organismes philanthropiques 24 3

(12,5%)

21

(87,5%)

Partis politiques 4 0

(0%)

4

(100%)

Santé et services sociaux 25 8

(32%)

17

(68%)

Information et télécommunication 33 9

(27,3%)

24

(72,7%)

Transport 22 3

(13,6%)

19

(86,4%)

Voyage et tourisme 20 2

(10%)

18

(90%)

Nombre total de sites 960 171

(17,8%)

789

(82,2%)

Les catégories atteignant les plus hauts pourcentages de sites Web ayant obtenu la cote « passable » ou mieux, sont : « Gouvernemental » (33,3%), « Santé et services sociaux »  (32%), « Organismes communautaires » (28%) et « Information et télécommunication » (27,3%).

Les catégories atteignant les plus faibles pourcentages de sites Web ayant obtenu la cote « passable », sont : « Partis politiques » (0%), « Municipal » (2%), « Éducation » (5,6%) et « Commerce en ligne » (6,6%).

 


ANNEXE 1 – Évaluations automatiques : répartition des sites Web par cotes, par catégories

Tableau 5 : Répartition des sites Web par cote, par catégories

Note Alimentation Commerce en ligne Culture Éducation Entreprises privées Gouvernemental Institutions financières Municipal Organismes communautaires Organismes philanthropiques Partis politiques Santé et services sociaux Information et Télécommunication Transport Voyage et tourisme Nombre TOTAL de sites %
9-10 Excellent 3

(2,1%)

0

(0%)

1

(0,5%)

2

(1,2%)

0

(0%)

2

(1,7%)

1

(7,7%)

0

(0%)

4

(8%)

0

(0%)

0

(0%)

0

(0%)

2

(6,1%)

0

(0%)

0

(0%)

15 1,5%
8-8.9 Très bon 10

(7,1%)

0

(0%)

10

(5,4%)

4

(2,5%)

1

(1,9%)

14

(12%)

0

(0%)

1

(2%)

3

(6%)

2

(8,3%)

0

(0%)

1

(4%)

3

(9,1%)

0

(0%)

1

(5%)

50 5,2%
7-7.9 Passable 18

(12,9%)

4

(6,6%)

25

(13,4%)

3

(1,9%)

9

(16,7%)

23

(19,7%)

1

(7,7%)

0

(0%)

7

(14%)

1

(4,2%)

0

(0%)

7

(28%)

4

(12,1%)

3

(13,6%)

1

(5%)

106 11,1%
6-6.9 Faible 28

(20%)

9

(14,8%)

41

(22%)

26

(16,1%)

11

(20,4%)

33

(28,2%)

2

(15,4%)

6

(12%)

11

(22%)

4

(16,7%)

0

(0%)

5

(20%)

5

(15,2%)

4

(18,2%)

4

(20%)

189 19,7%
5-5.9 Problématique 25

(17,9%)

12

(19,7%)

37

(19,9%)

35

(21,7%)

9

(16,7%)

26

(22,2%)

1

(7,7%)

15

(30%)

7

(14%)

7

(29,2%)

3

(75%)

6

(24%)

2

(6,1%)

6

(27,3%)

1

(5%)

192 20%
4-4.9 Très problématique 28

(20%)

8

(13,1%)

37

(19,9%)

40

(24,8%)

13

(24,1%)

11

(9,4%)

4

(30,8%)

12

(24%)

11

(22%)

6

(25%)

1

(25%)

3

(12%)

5

(15,2%)

3

(13,6%)

3

(15%)

185 19,3%
0-3.9 Inutilisable 28

(20%)

28

(45,9%)

35

(18,8%)

51

(31,7%)

11

(20,4%)

8

(6,8%)

4

(30,8%)

16

(32%)

7

(14%)

4

(16,7%)

0

(0%)

3

(12%)

12

(36,4%)

6

(27,3%)

10

(50%)

223 23,3%
TOTAL 140 61 186 161 54 117 13 50 50 24 4 25 33 22 20 960 100,1%

*Note : les pourcentages ont été arrondis à la première décimale.

ANNEXE 2 – Évaluations automatiques : portrait global des résultats

Graphique 1 : Répartition des sites Web par cote

Graphique 1 : Répartition des sites Web par cote

Graphique 2 : Répartition des sites Web par cote, par catégorie (nombre)

Graphique 2 : Répartition des sites Web par cote, par catégorie (nombre)

Graphique 3 : Répartition des sites Web par cote, par catégorie (pourcentage)

Graphique 3 : Répartition des sites Web par cote, par catégorie (pourcentage)