SONDAGES
“Les media doivent reprendre la main !”
Les sondages rythment chaque élection à une cadence de plus en plus effrénée. La prochaine présidentielle n’y échappe pas. Ces études d’opinion sont pourtant de moins en moins bonne qualité selon le statisticien Michel Lejeune. Cet universitaire grenoblois, auteur d’un livre remarqué sur “La singulière fabrique des sondages”, vient de publier une tribune où il demande de ramener “l’activité sondagière dans le champ scientifique” (1). Mag2Lyon lui a posé les questions qui fâchent. Comment expliquer cette dérive? Comment reconnaître un bon sondage? Comment s’en sortir? Sans œillère ni tabou comme à notre habitude! Quitte à être critiqué nous aussi, journalistes ! Propos recueillis par Lionel Favrot
Les questionnaires quotidiens sur les sites internet des media pour demander par exemple si Emmanuel Macron a eu raison ou non de dire qu’il voulait “emmerder” les non-vaccinés, ce sont des sondages?
Michel Lejeune: Non. La première faiblesse, c’est la sélection des gens interrogés. Dans votre exemple, il y a deux biais. Ceux qui répondent, sont les lecteurs de ce media et parmi eux, uniquement ceux qui se servent d’internet. En conclure que les Français ou les Lyonnais pensent ceci ou cela, ce serait une erreur. Il s’agit juste des personnes connectées au site d’un media en particulier, et à une période donnée.
Si plusieurs milliers de personnes répondent, cela ne corrige pas ces biais ?
Non, car il y a un présupposé: croire que tout le monde est sur internet. C’est le biais le plus fréquent aujourd’hui car on oublie trop souvent que 40 % des Français n’ont pas un accès régulier à internet. Parce qu’ils ne l’ont pas, parce qu’ils ne l’utilisent pas, parce qu’ils l’utilisent mal ou peu…
Comment réaliser un “vrai” sondage ?
Il faut d’abord monter un plan de sondage qui consiste justement à décider qui on va interroger. Contrairement aux idées reçues, la méthode aléatoire reste la plus scientifique. Les statisticiens l’ont démontré depuis plus d’une centaine d’années par des calculs de probabilité.
Mais aléatoire, c’est souvent synonyme d’approximation! En quoi consiste cette méthode?
Tirer au hasard des noms de communes puis des noms de quartiers ou de rues. Ensuite on envoie des enquêteurs sonner aux portes des gens pour leur soumettre un questionnaire. Cet aléatoire pur n’a aucun biais. Mais il faut quand même solliciter suffisamment de personnes pour obtenir le profil recherché. Exemple : des personnes inscrites sur les listes électorales pour des intentions de vote. C’est ce qu’on appelle le taux de réponse. Cela peut être 10 000 personnes sollicitées pour seulement 1 000 contacts utiles.
Mais on risque de tomber uniquement sur des quartiers aisés ou populaires!
Non. Exemple : la probabilité de tomber au hasard sur 30 % d’ouvriers alors qu’ils
représenteraient 5 % de la population, est quasiment nulle. Le hasard répartit correctement les choses. Si vous lancez un dé cent fois de suite, vous savez que tomber cent fois sur le nombre six, c’est quasi impossible ! Là encore, c’est un calcul de probabilité.
Quelle taille d’échantillon permet de limiter ces biais éventuels?
Tout dépend de la précision recherchée car la marge d’erreur se calcule en fonction de la taille de l’échantillon. Exemple : avec 1 000 personnes interrogées, si 50 % de l’ensemble de la population souhaite voter pour un candidat, le résultat du sondage va se situer entre 47 % et 53 %. Si on interroge 10 000 personnes, la marge d’erreur se réduit et on aura entre 49% et 51% au lieu des 50 %. Je parle bien de 1 000 ou 10 000 sondés correspondant au profil recherché, par exemple les inscrits sur les listes électorales pour un sondage intentions de vote.
Ces marges d’erreur pour 1 000 ou 10 000 personnes, restent valables quelle que soit la taille de la ville ou du pays concernés ?
Oui, la taille de la population ne joue quasiment aucun rôle. 1 000 sondés sur la France entière ou 1000 à Lyon, c’est pareil.
D’autres méthodes pour ce tirage au sort?
L’annuaire téléphonique. C’est un très bon outil de hasard. Évidemment, il faut suivre les évolutions de la société. Aujourd’hui, peu de personnes répondent à des téléphones fixes et il faudrait travailler avec des portables.
Les études d’opinion sont réalisées sur des panels plus réduits, de 400 à 600 personnes, généralement par internet, mais les instituts de sondages affirment que c’est sérieux car leur représentativité est assurée par la méthode des quotas…
Les sondeurs émettent des contre-vérités que les journalistes remettent peu en question faute d’entendre d’autres discours. En fait, ces sondages sont réalisés auprès d’access panel, des plateformes en ligne où s’inscrivent les internautes. Ce qui pose plusieurs problèmes. Dans ce cas de figure, les sondés s’auto-sélectionnent pour s’inscrire. On ne va pas les chercher. En plus, ils s’auto-sélectionnent une seconde fois en décidant de ne répondre qu’aux sondages qui les intéressent. Cette double auto-sélection est une aberration. Si on sonde uniquement les personnes qui s’intéressent à la politique sur les élections ! Pour moi statisticien, quand je lis “méthode des quotas”, cette information est nulle. Ce que je veux vraiment savoir, c’est comment ces individus ont été sélectionnés au départ de l’étude car ce schéma “répond qui veut”, n’a pas valeur de sondage.
Qu’est-ce qui vous semble discutable dans la méthode des quotas revendiquée par tous les instituts de sondage? Elle n’a vraiment aucun intérêt?
Si, elle peut permettre de corriger en aval le n’importe quoi de la sélection initiale. C’est-à-dire que si la méthode aléatoire a été mal appliquée, cette méthode des quotas peut réduire certains biais en recadrant l’échantillon. Mais il ne faut pas oublier que cette méthode des quotas ne s’applique qu’à quelques caractères, généralement l’âge, le sexe, la catégorie socioprofessionnelle, le lieu où l’on habite… C’est très partiel! La méthode des quotas ne garantit donc pas à elle seule un bon sondage car elle ne dit jamais comment l’institut est allé chercher les gens. Avec les access panel, il y a donc trop de biais.
Ce que vous dénoncez, c’est l’utilisation des questionnaires auto-administrés par les sondés qui les reçoivent par internet?
Non, ce n’est pas l’auto-administration des sondages que je critique mais l’usage de ces plateformes d’access panel. Le biais, c’est bien la connexion volontaire sur ces plateformes numériques. Imaginez quand les questions portent sur l’usage d’internet ! On oublie à nouveau les 40 % de Français qui n’ont pas un accès régulier à internet! Le biais est là très important.
Qui utilise aujourd’hui votre méthode aléatoire?
Le panel Elipss (2) qui a été constitué depuis 2012 par des instituts de recherche. L’Insee procède à un tirage au sort de 8 000 personnes en France métropolitaine et 2 200 sont sélectionnées. Ce qui représente un très bon taux de réponse de 27,5 %. Ces personnes reçoivent régulièrement des enquêtes par internet et ils ont plusieurs semaines pour répondre sans se retrouver regardés ou écoutés par un enquêteur. Elipss utilise une tablette toute simple et si ces personnes n’ont pas d’accès internet, l’abonnement leur est offert. On enlève donc le biais des personnes non connectées ou utilisant peu internet. Ce panel est à disposition des chercheurs en sciences humaines et sociales pour étudier des thèmes d’intérêt général.
Mais aucun des grands instituts de sondage qui travaillent avec les media, ne procède ainsi…
Non, les sondeurs ont gagné. Ils imposent la méthode des quotas qui ne leur coûte pas cher et qui leur rapporte gros. Ce que j’ai essayé avec mon livre, c’est de donner des arguments aux journalistes, aux hommes politiques et plus largement aux lecteurs. Beaucoup de mes collègues universitaires méprisent les sondages commerciaux et s’en désintéressent car ils considèrent que, de toute façon, c’est du n’importe quoi. Sans vraiment savoir pourquoi d’ailleurs. Moi, j’écris des textes techniques sur des bases critiques. Je m’efforce de faire passer des messages accessibles. D’où l’envie que j’ai eue d’écrire un livre de vulgarisation.
Mais un certain nombre de sondages tombent assez juste malgré cette méthode que vous trouvez discutable!
Oui, dans les grandes lignes. Mais on constate aussi des écarts de plus en plus importants entre les résultats annoncés par les sondages et celui des urnes. Exemple pour les élections municipales de 2020 à Lyon sans citer de nom car ils font à peu près tous pareil. Ce sondeur est parti d’un échantillon de 610 personnes interrogées, ce qui n’est pas énorme, et l’échantillon s’est encore réduit comme peau de chagrin ! Il n’a gardé que les 402 personnes inscrites sur les listes électorales, puis les 293 personnes certaines d’aller voter et qui ont bien voulu répondre…
Ce sondage est tombé juste ou faux ?
Il est tombé loin! Le candidat des Républicains Etienne Blanc était crédité de 23% et placé entête du 1er tour alors qu’il n’a eu que 17 % le jour de l’élection, ce qui l’a placé en deuxième position. Avec six points d’écart. L’écologiste Grégory Doucet était au contraire sous-estimé de presque neuf points dans ce sondage avec 20 % des voix contre 28,5 % des suffrages recueillis au 1er tour. Enfin, le Rassemblement national qu’on sait pourtant moins fort à Lyon qu’ailleurs en France, a été surestimé de deux fois : 10 % d’intention de voix contre 5,5 % dans les urnes… (3)
Un bon sondage, c’est cher et c’est long ?
Oui. Quand Elabe réalise des études l’après-midi pour les publier dès le lendemain matin, il ne sonde que des gens très souvent connectés à internet. Un autre biais évident de ces panels internet, c’est de faire monter l’extrême-droite car ses électeurs sont très bran-chés. Mais je ne veux pas hiérarchiser les instituts de sondage entre eux car même les meilleurs ne sont pas terribles !
Les redressements des données brutes par les sondeurs sont très critiqués car ils surestiment désormais l’extrême-droite. Avant, ils étaient accusés de la sous-estimer…
Sur le principe des redressements, en tant que statisticien, je n’ai rien à dire. Mais il y a redressement et redressement ! Aujourd’hui, ils sont réalisés sur des bases peu fiables : les votes aux élections antérieures. Or, quand on demande aux gens pour qui ils ont voté par le passé, leurs réponses ne sont pas du tout précises. Certains n’osent pas donner la vraie réponse, d’autres ont carrément oublié…
Les électeurs oublient leur vote ?
Oui. Si vous demandez aux gens leur vote à l’élection présidentielle de 2017, ça peut marcher. Mais si vous les interrogez sur les élections régionales de 2015 ou les élections européennes de 2019, on peut avoir des surprises… Les redressements actuels sont hasardeux pour une autre raison. Ils ont été introduits à une époque où il y avait une sous-déclaration du vote Le Pen. 6-7% des sondés affirmaient voter Le Pen mais ils étaient 18-19 % le jour de l’élection. Ce n’est plus le cas! Du coup, ce redressement fonctionne désormais à contresens en amplifiant le vote du Rassemblement National. Pour les élections régionales, j’ai trouvé trois sondages de trois instituts différents qui créditaient le candidat RN Andréa Kotarac de 22 % des voix alors qu’il n’a recueilli que 12 % des voix… Il faut arrêter ces redressements qui ne marchent plus (4).
Trois instituts ont donné le même résultat ?
Oui. C’est presque suspect ! Ces redressements deviennent d’autant plus hasardeux que les élections donnent lieu aujourd’hui à des alliances complexes au second tour difficiles à évaluer.
À vous écouter, réaliser un bon sondage c’est quasi impossible !
De 1993 à 2013, j’ai été membre du Comité Scientifique du CESP, le Centre d’Études des Supports de Publicité à Paris. Il finançait une étude annuelle sur l’audience de la presse quotidienne qui coûtait 500 000 €. Je ne vois pas quel media se financerait une telle étude. Mais à l’impossible nul n’est tenu! On pourrait déjà imaginer des sondages moins fréquents mais plus solides, financés par plusieurs media pour partager les frais. Et plutôt que de publier du jour au lendemain, on pourrait étaler un sondage sur cinq jours.
Trouvez-vous normal que des entreprises qui n’ont rien à voir avec la presse, sponsorisent des sondages livrés gratuitement à la presse ? Ce qu’on appelle du “naming” de sondage…
La confusion des genres, ce n’est jamais bon. Ces entreprises se font de la publicité mais je pense à l’impact potentiellement négatif sur l’image d’indépendance des media qui les diffusent. Moi, même si cela vous fait moins plaisir, je préfère dénoncer la collusion entre les media et les instituts de sondage car au final, on ne donne plus la parole aux journalistes.
Un exemple de collusion media-institut de sondage ?
Les sondages Le Monde-Ifop-Fondation Jean Jaurès-Cevipof. Ce quotidien publie les commentaires d’Ifop avec l’inévitable Brice Teinturier sans oublier les commentaires des représentants de la fondation Jean Jaurès et du Cevipof. Quand on regarde la télé, on donne aussi la parole à ces experts des instituts de sondage qui alignent plein de chiffres. Pour information, la BBC, en Angleterre, interdit à ses journalistes de citer les analyses des instituts de sondage. Ce sont à eux d’assurer ces commentaires. En France, les journalistes doivent reprendre l’ascendant !
En tant que lecteur, comment identifier un bon sondage ?
Il faudrait sortir de cette attitude un peu facile qui consiste à dire que tous les sondages ne valent rien tout en se précipitant pour les lire. On peut étudier la fiche technique pour savoir comment a été sélectionné l’échantillon, quelle est sa taille finale, les marges d’erreur… Il y a vraiment sondage et sondage !
Comment sortir de cette situation qui, finalement, n’est satisfaisante ni pour les instituts de sondage qui ne sont plus pris au sérieux, ni pour les media qui payent des études d’opinion pas assez rigoureuses, ni pour les lecteurs et électeurs de plus en plus méfiants… ?
Aujourd’hui, la parole sur les sondages est monopolisée par les sondeurs. Rien ne bougera tant que les journalistes en particulier n’auront pas un minimum de culture sondage. Les media qui commandent les sondages doivent reprendre la main. Ces derniers temps les choses ont bien évolué. Votre curiosité en est la preuve! J’espère que cela ne retombera pas et que s’établira un équilibre durable.
(1) Michel Lejeune :“La singulière fabrique des sondages d’opinion”, Editions l’Harmattan, 168 pages, juin 2021 ; “Il faut ramener l’activité sondagière dans le champ scientifique”, tribune publiée dans Le Monde, 14 décembre 2021. (2) Elipss est financé et coordonné par Science Po Paris et le CNRS. (3) Michel Lejeune n’a pas souhaité citer le media et l’institut de sondage concerné mais la fiche technique correspond au sondage publié par Lyon- Mag.com avec OpinionWay le 23 mars 2020. Un sondage publié par Mag2Lyon avec BVA en février 2020 donnait Etienne Blanc à 18 % (contre 17 % dans les urnes), Grégory Doucet n’était pas donné plus haut au 1er tour dans le sondage Mag2Lyon mais il était annoncé gagnant au second tour.“Lyon : le sondage qui rebat les cartes des municipales” avait ainsi titré le quotidien Les Echos pour évoquer ce sondage Mag2Lyon qui portait sur un échantillon plus important. (4) Andréa Kotarac était par exemple à 23 % dans le sondage Ipsos-Storia pour France TV et Radio France du 20 juin 2021. En revanche, un sondage OpinionWay du 24 juin pour CNEWS donnait Andréa Kotarac à 13 %, donc plus proche du résultat final. Les deux précisaient avoir été faits auprès d’un échantillon respectivement de 1 000 personnes et 1 019 personnes inscrites sur les listes électorales. La différence s’est donc peut être faite au redressement des résultats bruts…
