Positionner le questionnaire d’évaluation

Les questionnaires interviennent durant la phase d’audit du niveau de maturité de l’organisation. Ils sont une pièce importante de cette démarche, mais bien entendu, pas la seule.

Ils interviennent au même titre qu’un certain nombre d’autres outils, parmi lesquels :

• Les interviews : Ils sont essentiels et chacun doit être conduit par au moins deux personnes de l’équipe. D’abord, parce qu’il est plus courtois de regarder son interlocuteur pendant que l’autre personne prend des notes sur ce qui est dit. Ensuite, par ce que les deux personnes peuvent avoir entendu des réponses différentes, et le cas échéant cela permet de retourner voir l’interlocuteur en cas d’ambiguïté.
• La revue de la documentation : Il s’agit ici d’étudier l’ensemble des documentations disponibles, parmi lesquelles :
• Plan de test
• Plan Assurance Qualité
• Gestion de configuration
• Formation
• Gestion de projets
• Revues et inspections
• Processus d’améliorations
• La documentation du processus de test actuel : Il faut documenter le processus de test actuel, le mieux est de le faire sous forme de diagramme. C’est nécessaire pour une bonne compréhension des processus, par l’équipe d’audit et également pour la comparer aux résultats du rapport final

Le questionnaire est un outil important, même si l’équipe, chargée de conduire l’audit, doit garder à l’esprit que les réponses ne sont que l’opinion d’une personne à chaque fois. Seule l’analyse des résultats de l’audit confirmera ou infirmera les réponses.

Il ne faut pas accorder une importance démesurée au questionnaire. Il est surtout utile pour comparer la perception que l’organisation a de son degré de maturité par rapport à son niveau réel. Cela évite l’écueil de beaucoup d’entreprises, qui décident de plans d’actions sur la base de leur perception des processus. Seul l’audit permettra de rendre de telles conclusions, en tenant compte du retour d’analyse des procédures en cours.

Contenu des questionnaires

Chaque entreprise spécialisée dans ces démarches d’évaluation possède ses propres questionnaires. La tendance est d’entourer leur contenu d’un certain mystère. Cette propension relève plus du « marketing » que d’une justification de la réelle plus value industrielle. Ce qui est certain, c’est que depuis qu’Ilène Burnstein, l’une des promotrices du modèle TMM, a conçu la première matrice de questions, les évolutions entreprises sont plus de l’ordre de la personnalisation que de la révolution.

Aussi, les questions relèvent plus du bon sens, et ont pour vocation à couvrir les domaines suivants :

• Objectifs, et politiques de l’entreprise dans les domaines suivants :
• Test et débogage
• Assurance qualité
• Gestion de configuration
• Formation des testeurs
• Gestion de projet
• Revues et inspections
• Amélioration des processus
• Processus de planification des phases de test
• Mesure des tests
• Segmentation des types d’anomalies
• Indépendance et professionnalisme de l’organisation de test
• Profil de carrière des testeurs dans l’entreprise
• Définition des rôles et des responsabilités des testeurs
• Communication de l’équipe de test dans toute l’organisation
• Intégration des activités de test dans le cycle de vie du projet
• Contrôle et surveillance du processus de test
• Revues et inspections
• Outils de tests automatiques
• Métriques de test
• Intégration des attributs qualité dans le processus de test
• Analyse des anomalies
• Recommandations d’amélioration des processus basées sur l’analyse des causes d’anomalies
• Prévention des anomalies
•  Répétabilité des phases de test

Format des Questions/ Réponses

Compte tenu des impératifs de dépouillement, il faut éviter les réponses ouvertes même courtes. De plus ce type de réponses, doit plus tôt être obtenu lors des entretiens. Il y a deux formes principales de réponse souhaitables :

Un modèle numérique avec des pondérations allant de 1 à 5, le plus gros poids. Par exemple, à la question « votre équipe possède t elle une compétence outils », les réponses pourraient être les suivantes :

• 5. Oui, j’ai moi-même des connaissances
• 4 Oui
• 3 Oui, mais je n’en ai pas moi-même
• 2 Non
• 1 Je ne sais pas
• 0 Non applicable

L’autre schéma est d’établir seulement 4 réponses à chaque question :

• Oui
• Non
• Ne sais pas
• Non applicable

Chaque modèle a ses avantages et ses inconvénients.

Pour le premier:

• Avantages : les personnes qui répondent, ont plus de choix. Il est plus facile de faire une analyse numérique des réponses.
• Défauts : ce schéma peut donner trop de choix aux personnes qui répondent. Un trop grand nombre de réponses à 4 et à 2 peut enlever de la pertinence à cette approche

Pour le second :

• Avantages : Facile à répondre. Pas d’ambiguïté dans les réponses.
• Défauts : nombre limité de choix de réponses

Par expérience, le deuxième modèle est plus simple à utiliser. Les résultats obtenus permettant d’avoir une bonne perception de la maturité des activités de test.

S’assurer du bon retour des questionnaires

Pour être un outil utile, les questionnaires doivent être complètement remplis et renvoyés. Les réponses donnent à l’équipe des indications sur ce qu’il faudra étudier. Elles permettent également de disposer de l’état d’esprit des parties en présence.

On pourrait penser qu’avec l’appui du management, les questionnaires sont remplis et renvoyés rapidement. En général, il n’en est rien. Seuls 25 à 30% des questionnaires sont retournés « naturellement. ».

En général, les destinataires lisent le document, se rendent compte que beaucoup de questions demandent réflexion et préfèrent le mettre dans une liste de « à faire », dont il ne sortent que rarement. Plus simplement, ils peuvent se considérer comme très occupés et remettre cette tâche à plus tard.

L’autre problème auquel on peut souvent être confronté et l’anonymat des retours. Pour y remédier, on peut mettre en place des références croisées, permettant de relier un code à un destinataire.

Pour augmenter le taux de retour, deux pistes peuvent être explorés :

• Les destinataires peuvent être réunis en groupe, et pendant cette réunion les questionnaires sont remplis. Cela possède un caractère assez scolaire, mais cela fonctionne.
• Les questionnaires sont remplis pendant la phase d’interview. Cela induit des entretiens plus longs et peut enlever de la dynamique à l’entretien, dans la mesure où l’interlocuteur peut sentir qu’on aborde les mêmes thèmes.

Il vaut mieux utiliser ces deux dispositifs en dernier ressort. La méthode la plus efficace est peut être :

• De faire une diffusion à tous les destinataires, avec une deadline.
• Après cette deadline faire une relance à ceux qui n’ont pas répondu
• Ensuite, envoyer une autre relance avec le questionnaire joint, en précisant que ce dernier sera récupéré lors de l’entretien. On peut parier que ceux qui ne viennent pas avec n’ont aucune intention d’y répondre.

Après les phases d’entretien, l’équipe doit comptabiliser le taux de retour, pour se prononcer sur la représentativité de l’échantillonnage. Si ce n’est pas le cas, et en dernier ressort, demander l’intervention du management.