L’outil statistique : un outil puissant mais exigeant !

Mesurer, quantifier, évaluer…Des mots qui nous viennent tout naturellement à l’esprit dès lors que l’on cherche à construire une image générique, rigoureuse et réaliste des conditions de travail de l’ensemble des salariés d’une entreprise. Combien de salariés stressés ? Existe-t-il des métiers plus touchés que d’autres ? Quels sont les facteurs qui peuvent expliquer ces niveaux de stress élevés ? Existe-t-il un schéma organisationnel modélisable, unique et commun à l’ensemble des salariés, qui permettrait d’expliquer ces niveaux de stress élevés ? Enfin, peut-on identifier les facteurs de risque et de protection ? A toutes ces questions, l’une des réponses les plus adaptées est sans conteste l’outil statistique : il permet en effet d’extraire des connaissances à partir d’un ensemble de données et de fournir des éléments significatifs et opérationnels pour une prise de décision adaptée. Cependant, cet outil n’est pas la réponse à toutes les interrogations quantitatives, et son utilisation peut dans certains cas s’avérer inappropriée voire incorrecte. Voici quelques recommandations indispensables avant d’appuyer frénétiquement sur le bouton « lancer l’analyse » de votre logiciel statistique.

Significativité : l’objet de convoitise

Dans une étude quantitative, l’analyse statistique permet bien souvent d’orienter efficacement un utilisateur averti vers les observations saillantes, ces fameuses différences dites « significatives ». La significativité, c’est cette différence surnaturelle, structurelle ou fonctionnelle qui révèle dans l’échantillon un écart atypique entre deux ou plusieurs valeurs (moyennes, pourcentages…). Concrètement, si je lance 100 fois un dé et que je note mon score à chaque lancer, je peux calculer une moyenne sur l’ensemble de mes lancers, soit par exemple (2 + 3 + 6 + … + 5)/ 100 = 3,4. Supposons que je réitère cette opération, en lançant ce même dé 100 autres fois et que j’obtienne un score moyen de lancers égal à (1 + 4 + 2 + … +4)/ 100 = 2,8. Dans cette expérience précise, la différence entre mes deux scores moyens 3,4 et 2,8 (3,4-2,8 = 0,6) ne peut pas être considérée comme « significative » car elle a été obtenue par simple hasard (2 fois 100 lancers du même dé). Identifier des différences significatives en statistique, c’est donc mettre en évidence les écarts qui ne pourraient pas être reproduits avec de simples dés. Objet de quête d’un grand nombre de chercheurs du monde biomédical, la significativité invite à une analyse plus approfondie de l’échantillon en vue d’apporter une explication pertinente des écarts constatés. Elle peut d’ailleurs, dans certains cas, ouvrir les portes à de grandes découvertes.

Analyse de l’échantillon : les caractéristiques d’abord !

D’où viennent vos données ? Cette question essentielle (non métaphysique) doit faire l’objet d’une analyse descriptive détaillée et exhaustive de votre échantillon. Trois critères principaux sont à prendre en compte :

– le contexte de l’étude : il s’agit de relever toutes les informations qui seraient susceptibles d’apporter des éléments complémentaires pour la compréhension de vos données et/ou l’interprétation et la généralisation des résultats.

– les conditions de recueil : quels sont les outils utilisés pour recueillir les données, les modes de passation et les modalités des questions ?

– les caractéristiques des répondants : c’est une analyse très simple qui consiste à compter les répondants dans les différentes modalités des variables mesurées. Combien d’hommes, de femmes, quelles sont les tranches d’âge, quelle est la répartition des cadres / non cadres…
En théorie, si vous ne prêtez aucune attention à tout ou partie de ces critères, vous ne risquez pas grand-chose : l’outil statistique peut s’appliquer de manière quasi-aveugle sur des données…pourvu qu’il y en ait beaucoup. En pratique, vous pourriez distordre les conclusions faites sur la base d’échantillons non représentatifs, de contextes ou de variables médiatrices non prises en compte ou bien encore de modes de passation soumis à des biais de réponses.

Méthodologie d’analyse : un choix a priori

Seuls le contexte et les hypothèses de l’étude doivent orienter vers un choix méthodologique approprié, et non l’hypothétique significativité d’un résultat issu de l’application frénétique de toutes les modèles statistiques que peut maîtriser l’utilisateur. Clairement, une méthodologie ne doit pas être retenue car elle apporte des résultats significatifs. Elle doit être sélectionnée car c’est la manière d’appréhender les données la plus efficiente pour le contexte et les hypothèses posées. Par ailleurs, rappelons que « absence de significativité ne signifie pas absence de résultat » et qu’il peut être tout aussi intéressant d’échanger autour de résultats non significatifs que de résultats significatifs…Bien évidemment, les revues et journaux scientifiques font en général la part belle aux résultats significatifs et quand il s’agira de publier ce sera évidemment moins facile, mais ça c’est un autre débat.

La taille compte !

Dans une expérience professionnelle antérieure, je me souviens d’un médecin qui était venu nous consulter, affolé par l’absence de résultats significatifs dans son étude. « Rien n’est significatif sur mes 63 observations, je ne comprends pas… ». L’année suivante, ce même médecin revient nous consulter pour une autre étude, plus ambitieuse avec cette fois près de 8000 observations recueillies. Avec une satisfaction non dissimulée, il s’enthousiasme : « toutes mes différences sont significatives, on va pouvoir publier » ! Que serions-nous tentés de conclure de ces deux études ? N’y avait-il vraiment aucune différente pertinente et exploitable sur les 63 observations de la première étude ? A l’inverse, toutes les différences identifiées comme significatives sur les 8000 observations de cette seconde étude sont-elles toutes pertinentes ? En fait, se pourrait-il que la grande taille d’un échantillon pousse un peu plus les écarts vers la significativité et qu’à l’inverse ils trouvent plus fréquemment porte close pour les petits échantillons ? La réponse est oui : la capacité de l’outil statistique à mettre en évidence des différences significatives (on parle de puissance statistique) dépend en effet fortement de la taille de l’échantillon. Par exemple, une différence de 10% entre deux pourcentages sera beaucoup plus facilement mise en évidence sur un échantillon de taille 8000 que sur échantillon de taille 63 ! Y a-t-il des bornes extrêmes en dehors desquelles l’outil statistique serait donc à proscrire ? En général, tous s’accordent pour dire qu’en dessous de 30 répondants, l’outil statistique n’est pas adapté. Il est du coup assez confortable de suivre cette règle en s’interdisant toute production de statistique sur un effectif inférieur à 30 répondants. En revanche, il n’existe à ce jour aucune règle, quant à une hypothétique borne supérieure. La significativité ne doit donc pas être l’unique objet de cristallisation des utilisateurs.

Présentation des résultats : éviter la folie du « tout comparer »

Il est assez fréquent lors de communications ou de présentations de résultats en entreprise ou en congrès de s’entendre poser la question suivante : «…Et eux, ils sont à combien ? ». Dans mon entreprise, le taux de stress élevé est proche de 25%. Mais est-ce élevé ? Quels taux dans les entreprises proches de mon secteur d’activité ?
Il faut s’avoir qu’en statistique, la comparaison idéale n’existe pas. La comparaison directe de deux taux de stress élevés par exemple entre deux entreprises n’est pas pertinente. En effet, si une différence significative est mise en évidence, rien ne peut nous garantir qu’elle n’est pas imputable à une sur ou sous-représentation d’un des critères de segmentation dans l’une des deux entreprises. Etant donnée la probable hétérogénéité des caractéristiques des populations d’étude (réorganisation dans le temps, ou spécificité d’une des deux entreprises), et le fait que tous les critères de segmentation ne sont pas systématiquement mesurés, il serait illusoire de comparer ces résultats en contrôlant la totalité des caractéristiques de ces deux échantillons. A minima, il est possible de contrôler les caractéristiques de ces deux échantillons sur la base des critères de segmentation communs. Dans le cas d’une différence significative, nous pourrons alors affirmer que cette différence ne peut pas être imputable à ces critères-là.

Les statistiques comme aide au diagnostic = un outil maîtrisé

Utilisées dans de nombreux domaines (biomédical, industriel, bancaire, social…), les statistiques sont devenues depuis ces dernières années accessibles au plus grand nombre d’entre nous. Rencontre d’une pluridisciplinarité rendue nécessaire et d’un développement informatique exponentiel, les statistiques sont aujourd’hui les moyens d’expression privilégiés de toute personne souhaitant faire « parler » une base de données, quel qu’en soit son contenu.
Dans une étude sur les conditions de travail des salariés d’une entreprise, l’outil statistique va pouvoir relever les différentes portes derrières lesquelles se cachent des écarts atypiques (ex : niveaux de stress anormalement élevés ou très faibles). Il va également fournir des pistes d’éléments via les modèles explicatifs et orienter les premiers éléments de réflexions. Il est donc primordial que l’utilisateur soit conscient des différentes limites d’utilisation de cet outil, afin que cette aide au diagnostic soit efficace et puisse conduire à des recommandations réalistes et opérationnelles.

Fabien VALET, Manager Stimulus, Responsable Statistiques & Méthodes @FabienValet