Mesurer la « qualité » de l'accès à l'Internet, mission difficile

L'ARCEP vient de publier  son premier rapport « Qualité du service fixe dâ€'accès à l'€™Internet ». Ce
rapport est le résultat d'une campagne de mesures de l'accès Internet
via plusieurs FAI (Fournisseurs d'Accès à l'Internet). Le but est de
mesurer objectivement quel FAI est meilleur sur un certain nombre de
critères. Une telle mesure soulève évidemment plein de questions
techniques. Le problème a l'air trivial au début (« quel FAI est le
plus rapide ? ») mais en fait un réseau comme l'Internet est complexe
et il n'existe pas un seul critère qui suffirait à définir un concept
aussi flou que « la vitesse » (même si les publicités des FAI
simplifient à outrance cette complexité). Cela avait fait l'objet en
2011 d'une intéressante consultation publique.

Pour effectuer les mesures qui ont mené à ce rapport, il a donc fallu
beaucoup de discussions, s'étalant sur plusieurs années,
au sein d'un comité technique regroupant des
représentants des FAI, mais aussi d'associations comme la Quadrature
du Net ou l'UFC Que Choisir, ainsi que des experts venant
d'organisations qui ne sont pas des FAI, comme l'INRIA ou l'AFNIC. Ce
comité technique a eu à traiter de chacun des points du rapport. La
plupart du temps, contrairement à ce qu'affirment bien vite certaines
personnes sur les forums, il n'y a pas une solution idéale. Il y a
plusieurs façons de mesurer, chacune avec des avantages et des
inconvénients. Aucune des plate-formes existantes (par exemple
Grenouille) n'est parfaite.

Pour donner une idée (partielle) des choix qui se posaient, revenons
d'abord sur la façon dont on fait une mesure active sur l'Internet. Un
engin de mesure, la sonde, est connecté à l'Internet. La sonde envoie
des requêtes vers une mire, une machine également connectée à
l'Internet, qui va répondre. Il existe des tas de décisions à prendre,
sur la sonde, sur les requêtes, et sur la mire.

Par exemple, la sonde peut être une machine spécialisée, ne faisant
que la mesure, ce qui permet de contrôler étroitement les divers
paramètres, mais rend le déploiement massif plus difficile. Ou bien
elle peut être purement logicielle, ce qui est plus proche du vécu des
utilisateurs, mais rend très difficile les comparaisons parce qu'un PC
peut être infecté par un virus qui le ralentit, il peut être connecté
en Wifi dans un environnement où les ondes radio ne passent pas bien,
etc.

Les requêtes offrent encore plus de variabilité. Elles peuvent porter
sur des paramètres techniques bien définis et normalisés (comme la
latence, c'est-à-dire le temps d'aller-retour, ou comme la capacité
maximale du réseau, le nombre de bits qu'on peut faire passer par
seconde) et elles sont alors rigoureuses, et spécifiées dans des
documents comme les RFC du groupe de travail IPPM (IP Performance Metrics) de
l'IETF. Ou bien les mesures peuvent porter sur des grandeurs qui sont
plus proches du vécu de l'utilisateur, comme le temps de chargement
d'une page Web. Elles sont alors plus compréhensibles par le non
technicien mais beaucoup moins précises et moins rigoureuses dans leur
définition.

Un exemple d'une discussion qui a bien agité le comité
technique : faut-il retirer le temps de chargement des publicités ?
D'un côté, elles sont présentes et contribuent donc à l'expérience
utilisateur. De l'autre, on peut estimer, au nom d'un jugement de
valeur, qu'elles ne font pas réellement partie de la page. Pour
compliquer ce débat, on peut aussi noter que les publicités sont
souvent ciblées, c'est-à-dire qu'elles varient selon le destinataire,
rendant ainsi impossible toute comparaison.

Quant aux mires, on peut se demander si elles doivent être situées sur
le réseau du FAI qu'on mesure (qui est la seule partie de l'Internet
qu'il contrôle totalement) ou bien en dehors (la qualité de l'interconnexion avec
les autres réseaux est un élement essentiel dans les performances).

(Au passage, depuis le début du travail sur ce projet, le RIPE-NCC a déployé le réseau des Ancres Atlas - l'AFNIC a été la deuxième organisation au monde à en héberger une, réseau qui fournit un ensemble de mires neutres, au service des sondes Atlas mais aussi d'autres mesureurs.)

En conclusion, le point important est que ces mesures existent,
qu'elles pourront être améliorées, et qu'en attendant, elles
fournissent déjà beaucoup de données sur lesquelles travailler. (Les données brutes sont disponibles.)