Democracy 360: Methodology

Qu’est-ce que La démocratie à 360o de Samara?

La démocratie à 360o est un bulletin de rendement de Samara qui met l’accent sur la relation entre les citoyens et le leadership politique au Canada. Il combine 23 indicateurs quantifiables portant sur trois aspects : la communication, la participation et le leadership politique. La démocratie à 360o va permettre aux Canadiens de comparer et d’évaluer leur démocratie au fil du temps. Samara compte réviser ce bulletin de rendement tous les deux ans afin de déterminer si les choses se sont améliorées ou détériorées—le deuxième est prévu pour 2017.

D’où est venue l’idée de La démocratie à 360o?

Lors des entrevues de départ menées par Samara en 2009, un ancien député a révélé que les Canadiens ont besoin de connaître d’une façon plus systématique l’état de notre démocratie—et cela n’a rien d’anecdotique. Les années suivantes ont consisté à définir le concept, à recueillir des données et à les analyser pour La démocratie à 360o.

La démocratie à 360o de Samara comporte trois objectifs principaux :

  1. Mobiliser  Encadrer et provoquer, dans des cercles toujours plus grands, un débat sur la façon dont la politique au Canada peut être plus pertinente et réactive.
  2. Éduquer  Inciter les Canadiens à comparer et à évaluer, preuves à l’appui, les progrès de la vitalité démocratique du Canada, au-delà la participation électorale.
  3. Rallier  Repérer des aspects précis que Samara et d’autres peuvent changer.

Pourquoi « La démocratie à 360o?

« 360o » évoque un cercle qui a plusieurs significations : revenir en arrière et dresser un bilan, faire un tour d’horizon à 360 degrés, et attirer l’attention sur une métaphore utile montrant l’interdépendance entre les citoyens et leurs élus—le « cercle vicieux » et le « cercle vertueux »—lorsqu’il s’agit de bâtir une démocratie réactive.

Comment s’est déroulée l’étude?

Samara a consulté des universitaires (voir le comité consultatif de Samara), des intervenants dans le domaine de l’engagement citoyen et politique, et sa propre communauté pour la conception, la collecte des données, l’analyse et le processus de notation. Quelques aspects et constats méthodologiques ont également été présentés à des congrès universitaires par les chercheurs de Samara, et de nombreux éléments de La démocratie à 360o ont été testés dans le cadre des études ayant mené à la publication des rapports sur la démocratie de Samara entre 2012 et 2014.

Même s’il est surtout question des rapports entre les citoyens, les députés et les partis politiques dans La démocratie à 360o, la façon d’organiser cette étude a suscité bien des discussions. À l’origine, la série d’audits sur la démocratie canadienne a incité à mesurer avant tout des valeurs démocratiques comme la représentation, l’inclusion et la participation. Même si ces valeurs sous-tendent bon nombre des indicateurs de l’étude, nous avons décidé d’organiser La démocratie à 360o selon trois formes d’activité : la communication, la participation et le leadership.

Qu’est-ce que La démocratie à 360o mesure et ne mesure pas?

Qualité : L’intérêt de La démocratie à 360o réside dans l’envergure, et non la profondeur, des indicateurs de l’étude. Pour bien des indicateurs comme les « bulletins parlementaires », la mesure de la qualité pose un défi. Ce degré d’analyse est important, mais il déborde de la portée plus générale du projet. C’est pourquoi La démocratie à 360o cherche surtout à déterminer si l’activité a eu lieu ou non. Cette mesure vise à établir un point de comparaison. Nous souhaitons que les études futures approfondissent chaque mesure (par exemple la qualité ou la fréquence).

Tous les acteurs démocratiques : En mettant l’accent sur les élus politiques, La démocratie à 360o ne montre pas toute la complexité de la démocratie, notamment le travail accompli par les sénateurs, les fonctionnaires, le personnel politique, les journalistes et l’appareil judiciaire—un compromis pour que l’étude demeure faisable. Samara pense aussi que la relation entre les citoyens et leurs représentants est au cœur de la démocratie, ce qui explique pourquoi d’autres projets, comme les entrevues de départ des députés menées par Samara, ont aussi abordé la nature des relations avec les élus au Canada.

Élus municipaux et provinciaux : La démocratie à 360o n’évalue pas systématiquement les élus provinciaux et municipaux de la même façon que leurs homologues fédéraux. Certaines mesures de la participation politique et des points de vue des Canadiens sur la politique ne sont toutefois pas spécifiques à la scène fédérale. Cette optique, quoique moins rigoureuse, qui reflète néanmoins la perception qu’ont les citoyens de la politique et qui a été observée dans les groupes de discussion de Samara—bien des Canadiens ne font pas clairement la distinction entre les trois ordres de gouvernement dès lors qu’il est question d’activité politique.


Comment les indicateurs de La démocratie à 360o ont-ils été choisis?

Les indicateurs permettant de mesurer la communication, la participation et le leadership au Canada ont été choisis sur la base de cinq critères :

  1. Exactitude  La mesure est-elle précise?
  2. Fiabilité  La mesure donne-t-elle une idée exacte et uniforme de l’activité?
  3. Faisabilité  Est-il possible de recueillir et d’analyser les données compte tenu des échéances et des ressources existantes?
  4. Reproductibilité  Est-il possible de saisir à nouveau la mesure de la même façon?
  5. Dynamisme  Le changement (amélioration ou détérioration) de l’indicateur est-il mesurable?

D’où proviennent les données de La démocratie à 360o?

Les données utilisées pour La démocratie à 360o proviennent notamment des études d’opinion publique et des analyses du contenu de sites Web menées par Samara, ainsi que de la Chambre des communes et d’Élections Canada. Celles du bulletin de rendement de 2014 datent de 2011 à 2014. Voici les quatre principales sources : 


1.Sondage mené par Samara auprès des citoyens en 2014

Les données sur l’opinion publique contenues dans La démocratie à 360o proviennent  du sondage que Samara a mené auprès des citoyens en français et en anglais en prenant un échantillon en ligne de 2 406 résidents canadiens âgés de plus de 18 ans et vivant dans 10 provinces. Les données ont été recueillies entre le 12 et le 31 décembre 2014. Le sondage a un intervalle de crédibilité de 1,99 point de pourcentage, 19 fois sur 20.

Les réponses ont été pondérées de façon à refléter un échantillon national représentatif des Canadiens, qui tienne compte du sexe, de la région et de l’âge; du fait que les répondants soient nés au Canada ou dans un autre pays, et parlent français, anglais ou une autre langue à la maison ; et de la participation électorale rapportée par les répondants eux-mêmes. Les questions sur la participation des Canadiens étaient limitées aux 12 derniers mois. Les données aléatoires manquantes ont été imputées en utilisant les commandes d’imputation multiple dans STATA12.

Les ventilations provinciales ne comportent que des informations importantes du point de vue statistique (valeur p <= 0,10).  

Samara a collaboré avec les professeurs Peter Loewen (Université de Toronto) et Daniel Rubenson (Université Ryerson) pour recueillir, épurer, pondérer et imputer les données. Le sondage a été mené par Qualtrics.

Veuillez demander l’annexe de l’étude La démocratie à 360o de Samara pour en savoir davantage sur la manipulation précise des données, les questions du sondage et les fréquences non pondérées [[email protected]]. 

2.Dossiers de la Chambre des communes

Rapport de dépenses des députés (1er avril 2013-31 mars 2014)

Les Rapports de dépenses des députés 2013-2014 ont servi à déterminer la valeur de l’indicateur lié aux bulletins parlementaires. La valeur déclarée reflète le pourcentage de députés qui ont dépensé de l’argent avec les bulletins parlementaires pendant la période visée par le rapport. Elle combine les fonds dépensés sur le budget et les ressources du bureau du député publiés par la Chambre des communes pour déterminer le montant total dépensé avec les bulletins parlementaires. Le gouvernement du Canada met les dépenses des députés à la disposition du grand public dans un format XML. Un script Ruby, qui peut être consulté ici, a été utilisé pour transformer les données dans un format CSV. L’analyse a porté sur 312 députés.

Données sur la diversité au Parlement (décembre 2014)

Les données démographiques sur les députés ont été compilées à l’aide des renseignements disponibles à parl.gc.ca, notamment l’âge, le sexe, le lieu de naissance et le statut autochtone. Comme le statut de minorité visible n’est pas officiellement déclaré par la Chambre des Communes, il a été déterminé à partir des biographies des députés à parl.gc.ca. Les données ont été mises à jour en décembre 2014.

Samara s’est servi des données démographiques pour créer un indice de proportionnalité pour chaque groupe. Cet indice montre dans quelle mesure la représentation d’un groupe à la Chambre des Communes est proportionnelle à son poids démographique au Canada. Les chiffres sur la population canadienne proviennent du recensement 2011 de Statistique Canada. Une note de 100 équivaut à la parité parfaite entre la présence d’un groupe parmi les députés de la Chambre des Communes et la part de la population canadienne qu’il représente. 

3. Données accessibles au public

Sites Web des députés en 2014

Ce projet a consisté à analyser 299 sites Web de députés à partir d’une liste de vérification en 16 points. Les données ont été recueillies entre mai et juillet 2014 par des bénévoles et des employés de Samara. Les sites Web exclus de l’étude correspondaient à cinq circonscriptions vides (en attente d’élections partielles au moment de la collecte des données) et les quatre chefs de partis.

Sites Web des associations de circonscription en 2013

Ce projet a consisté à analyser les sites Web des associations de circonscription, autrement dit les sections locales de nos partis nationaux, d’après une liste de vérification en 15 points. Les chercheurs de Samara ont consulté 1 307 sites (308 pour chaque parti national et 75 pour le Bloc Québécois). Les données ont été recueillies en août et septembre 2013 par des employés et des bénévoles de Samara.

L’analyse a été refaite en 2014. Mais l’été 2014 a été une période de transition pour de nombreuses associations de circonscription, la création de 30 nouvelles circonscriptions ayant changé les limites de plusieurs d’entre elles. Les conclusions de Samara ne brossent donc pas un portrait exhaustif des sites Web des associations de circonscription au Canada et La démocratie à 360o se base sur la dernière année complète (2013).

Les députés dans les réseaux sociaux en 2013

L’analyse de Full Duplex dans son rapport de 2013 intitulé Peace, Order and Googleable Government porte sur le nombre de députés qui utilisent Twitter, Facebook et YouTube. Les données ont été recueillies à l’aide de Sysmos Heartbeat (un outil de surveillance des médias) en novembre et décembre 2013. Une analyse subséquente a été effectuée à l’aide de Heartbeat et Compass. Le rapport intégral peut être consulté ici

4. Élections Canada

Le rapport d’Élections Canada intitulé Estimation du taux de participation par groupe d’âge et par sexe à l’élection générale fédérale de 2011 rend compte de la participation par âge, sexe et province. Élections Canada se sert de ses données administratives pour établir ces chiffres. Afin d’améliorer l’exactitude du taux de participation, Élections Canada utilise comme dénominateur le nombre de citoyens canadiens en âge de voter plutôt que le nombre d’électeurs inscrits (ce qui prouve que la liste électorale peut être incomplète).

Pourquoi une note globale?

Le fait d’attribuer à l’ensemble des indicateurs une valeur, un indice ou une « note » unique est intrinsèquement subjectif—lire Malcolm Gladwell sur le sujet. Cela oblige inévitablement à décider, entre autres, s’il faut pondérer davantage des indicateurs qui sont plus importants ou leur accorder le même poids. Il y a rarement une façon « évidente » ou « correcte » de combiner de telles valeurs qui fasse l’unanimité.

Les notes globales posent des défis, mais elles n’en demeurent pas moins utiles en raison des autres avantages qu’elles procurent, notamment pour faciliter la compréhension et la comparaison. 

Compréhension : Il y a plus de 20 indicateurs qui n’ont pas beaucoup de points en commun, autrement dit ce n’est pas évident d’avoir une vue d’ensemble lorsque plusieurs points de données entrent en ligne de compte. Le fait de regrouper les valeurs peut aider à relever ce défi. Le regroupement peut aussi estomper les différences entre les valeurs des indicateurs (surtout les plus importants), et c’est pourquoi Samara a publié La démocratie à 360o: les chiffres, qui montre les valeurs de chacun des 23 indicateurs. 

Comparaison : Une note globale est un puissant moyen de comparaison. Certains indicateurs peuvent s’améliorer ou se détériorer au cours d’une année, mais ces changements ne donnent pas vraiment une vue d’ensemble. Une note globale peut indiquer si, dans l’ensemble, les choses se sont améliorées ou détériorées avec le temps. Et lorsque les trois aspects (communication, participation et leadership politique) ont chacun une note globale, c’est plus facile de savoir lequel va mieux que les autres.

Comment est-on arrivé à une note globale?

Chacun des indicateurs de La démocratie à 360o est noté sur 100; plus la note est basse, moins le résultat est bon. Même si l’échelle comporte des extrêmes—une note parfaite de 100 et un zéro—il est peu probable que certains indicateurs les atteignent. L’utilisation d’une échelle de 100 points pour tous les indicateurs assure néanmoins une uniformité et réduit la subjectivité, au lieu d’avoir une échelle de points sensible à la variation de chaque indicateur.

La démocratie à 360o comporte une structure imbriquée et hiérarchique. Les trois aspects (communication, participation et leadership), de même que les indicateurs de chacun, ont été pondérés d’une façon égale. La pondération de chacun dépend du nombre d’indicateurs que comporte chaque aspect. Un indicateur avec des sous-indicateurs reflète alors la moyenne de tous les sous-indicateurs. 

La pondération de La démocratie à 360o est basée sur une théorie conceptuelle et non statistique—autrement dit, elle met l’accent sur les trois principaux aspects de la démocratie identifiés par Samara. Mais les chercheurs de Samara ont fait une analyse factorielle des indicateurs basée uniquement sur les données de sondage; comme ce processus obligeait à omettre les trois autres sources de données, les résultats ont été révélateurs plutôt que directifs. 

Étant donné l’optique conceptuelle de La démocratie à 360o, Samara a décidé d’accorder la même importance à chaque catégorie. Cela signifie que la note globale applique la même pondération à chacun des trois aspects et des indicateurs correspondant à chaque aspect. 

Les notes attribuées à chacun des trois aspects (communication, participation et leadership politique) sont établies en prenant la moyenne des notes des indicateurs de chaque aspect. Les trois aspects, qui ont tous la même pondération, ont été additionnés pour donner une note totale sur 100. 

Communication + participation + leadership = Samara à 360oNote sur 33 + note sur 33 + note sur 33 = Samara à 360o (note sur 100)






Catégorie

Nombre d’indicateurs

Sous-indicateurs

Pondération de chaque indicateur

Somme (sur 33,33)

Pourcentage

Communication

7

8

4.76

18,66

55,99%

Participation

5

13

6.66

15,53

46,59%

Leadership

9

17

3.70

14,1

42,29%

Total

21

38

--

48,29

48,29%


Pourquoi a-t-on utilisé des notes alphabétiques dans La démocratie à 360o?

Les notes alphabétiques ne faisaient pas partie de la conception initiale de La démocratie à 360o, mais des experts en communications ont estimé qu’un bulletin de rendement aiderait les Canadiens à comprendre les données. Il s’agit d’un compromis entre l’ajout d’une autre part de subjectivité aux données et la volonté que l’étude soit accessible et utile aux Canadiens.

Comment a-t-on attribué les notes alphabétiques?   

Le choix d’une échelle de notation alphabétique ne s’est pas borné à appliquer le système de notation qui existe dans la plupart des écoles (p. ex. A équivaut à plus de 80 % et F, à moins de 50 %). Selon les conseillers en communications, un bulletin de rendement excessivement mauvais (avec plusieurs F) année après année serait décourageant et risque de détourner davantage les Canadiens de l’arène et de la participation politiques s’ils ne voient aucune lueur d’amélioration. Les conseillers ont aussi estimé que le bulletin de rendement serait un outil de communication moins efficace s’il était peu probableilité que les notes changent d’une année à l’autre. Étant donné la diversité d’indicateurs dans La démocratie à 360o, il est raisonnable d’anticiper de légères améliorations ou détériorations, mais pas de grands changements (autrement dit 10 points de pourcentage ou plus) dans un intervalle de deux ans.

Samara avait donc besoin d’une échelle de notation alphabétique où (1) un F serait inférieur au seuil de 50 % habituel et (2) chaque lettre correspondrait à une plage numérique relativement petite de façon à avoir une plus grande sensibilité aux changements de lettres attribuées.

Pour concevoir ce système de notes, les chercheurs de Samara ont d’abord sollicité l’avis extérieur d’un petit groupe d’experts, d’intervenants et de citoyens engagés dans la sphère démocratique afin qu’ils les aident à déterminer l’état actuel des notes de La démocratie à 360o et ce qu’elles pourraient être dans 10 ans si la démocratie canadienne était plus solide. Chacun a dit ce que serait, à son avis, une « excellente » note dans 10 ans pour un indicateur. Le groupe n’avait pas accès aux valeurs actuelles de La démocratie à 360o, mais on lui avait fourni des données historiques et comparatives à titre de référence.  

Qu’est-ce qu’une « bonne » note?

Les valeurs des indicateurs fournies par les consultants extérieurs ont été combinées à l’aide de la même formule de pondération utilisée pour les notes globales. Dans l’ensemble, ils ont suggéré un objectif de 60 % pour La démocratie à 360o, soit 12 points de pourcentage de plus que les 48 % visés pour 2014.

Les objectifs pour les trois aspects (communication, participation t leadership) ont permis d’établir le maximum pour l’échelle de notation alphabétique. Par exemple, l’objectif de 70 % pour la communication correspondrait à la note maximale dans cette échelle (A+).

La détermination des autres valeurs de l’échelle a donc été arbitraire, l’idée étant que chaque lettre corresponde plus ou moins à la même plage numérique (autrement dit deux à trois points).

Échelle de notation 2015

Lettre

A+

A

A-

B+

B

B-

C+

C

C-

D+

D

D-

F

Échelle

65 ou plus

64-63

62-60

59-58

57-55

54-53

52-50

49-48

47-45

44-43

42-40

39-38

37 ou moins


On s’est aussi intéressé à un autre système utilisant une échelle de notation propre à chaque catégorie. Cette approche aurait permis d’attribuer à chaque catégorie une « bonne » note différente. Dans la pratique, cela signifierait qu’un A+ pour le leadership équivaudrait à 47 %, tandis qu’un A+ en communication correspondrait à 70 %. Mais comme le bulletin de rendement se veut avant tout un moyen de communication, le désir de simplifier la conception a fait opter pour un système unique de notes alphabétiques pour les trois aspects et la note globale. Cela signifie qu’un « bon » bulletin de rendement ne comporte pas nécessairement que des A+. Mais c’est peut-être réaliste—la perfection ne doit pas empêcher de s’améliorer.

 

Note en 2014

Note alphabétique en 2014

Objectif

«Bonne» note alphabétique

Communication

55,99%

B

70,00%

A+

Participation

46,59%

C-

62,00%

A-

Leadership

42,29%

D

47,00%

C-

Total

48,28%

C

60,00%

A-


Nous espérons que ce premier bulletin de rendement La démocratie à 360o aidera tous les Canadiens à mieux comprendre la façon dont notre démocratie fonctionne. Si vous avez d’autres questions sur la méthodologie, n’hésitez pas à communiquer avec Laura Anthony ([email protected]).