Skip to main content
Skip to content

Interprétation des métriques d’utilisation et d’adoption pour GitHub Copilot

Copilot Les métriques d’utilisation et d’adoption révèlent des modèles dans la façon dont les développeurs interagissent avec Copilot votre entreprise.

Qui peut utiliser cette fonctionnalité ?

Propriétaires d’entreprise, responsables de facturation d’entreprise, propriétaires d’organisations et personnes disposant d’une organisation personnalisée ou d’un rôle d’entreprise avec l’autorisation « Afficher les métriques de l’organisation Copilot » ou « Afficher les métriques d’entreprise Copilot ».

Utilisez cet article pour interpréter les métriques d’utilisation et d’adoption dans les tableaux de bord des métriques d’utilisation et d’impact Copilot, et pour identifier des possibilités d’augmenter l’adoption et l’engagement.

Utilisez les principaux graphiques d’utilisation dans le tableau de bord pour comprendre les modèles d’adoption et d’engagement globaux. Ces graphiques vous aident à identifier l’endroit où l’utilisation augmente, diminue ou diminue, afin de pouvoir prendre des mesures pour maintenir l’engagement.

Unité de mesureCe qu’il montreComment l’interpréter
Utilisateurs actifs quotidiens de l’IDE (DAU)Utilisateurs uniques ayant interagi avec Copilot chaque jour.La croissance soutenue de DAU signale un engagement cohérent ; Des baisses nettes peuvent indiquer des problèmes de configuration ou un intérêt réduit.
Utilisateurs actifs hebdomadaires de l’IDE (WAU)Utilisateurs uniques actifs sur une fenêtre glissante de sept jours.Un rapport WAU-licence sain (>60%) indique une utilisation continue forte.
Taux d'acceptation des complétions de codePourcentage de suggestions acceptées.Un taux croissant suggère une augmentation de la confiance et de l’utilité ; une baisse peut indiquer des suggestions incompatibles ou des contraintes dans le flux de travail.

Examen de l’adoption des fonctionnalités

Les graphiques « Demandes par mode conversation » et « Adoption de l’agent » montrent comment les développeurs utilisent Copilot Chat et Copilot agent.

SignalCe qu’il vous ditCe que vous devez surveiller
Demandes par mode conversationRépartition des interactions de conversation par mode : Demander, Modifier, Planifier ou Agent.Une distribution équilibrée suggère que les utilisateurs explorent plusieurs fonctionnalités. L’utilisation intensive d’un mode peut mettre en évidence l’endroit où l’activation doit se concentrer.
Adoption de l’agentPourcentage d’utilisateurs actifs qui ont utilisé Copilot agent.La croissance au fil du temps montre que les développeurs progressent de l’achèvement de base vers des fonctionnalités plus avancées Copilot .

Analyse de l’adoption des personnalisations via l’API Copilot CLI

Pour évaluer la façon dont les développeurs adoptent des personnalisations sur Copilot CLI et d’autres clients pris en charge, utilisez l’API de métriques d’utilisation. Il indique les compétences, les agents personnalisés, l’activité de connexion au serveur MCP (Model Context Protocol), les commandes slash et les plugins pour les entreprises et les organisations. Les champs s’affichent dans les rapports par utilisateur sur 1 jour et les rapports agrégés sur 1 jour, dans les rapports par utilisateur sur 28 jours et les rapports agrégés sur 28 jours day_totals. Ils ne sont pas disponibles dans le tableau de bord. Pour connaître les définitions de champs, les clients pris en charge et les versions minimales pour les noms de rapport, consultez Données disponibles dans les métriques d’utilisation Copilot.

interaction_count représente un événement différent pour chaque catégorie : appels de compétence, démarrage de l’agent personnalisé, connexion MCP ou tentatives de reconnexion, appels de commandes obliques ou appels de compétence associés au plug-in. Ces valeurs comptent les événements d’activité, et non les utilisateurs. Les nombres MCP incluent les tentatives de connexion réussies et ayant échoué, mais pas les appels d’outils via un serveur déjà connecté ou un serveur en cours d’utilisation. Chaque interaction de plug-in est déjà incluse dans les nombres d’interactions de compétence, tandis que les interactions de compétence qui ne sont pas associées à un plug-in apparaissent uniquement dans les totaux des compétences. N’additionnez pas les nombres d’interactions des plug-ins et des compétences.

Pour identifier les signaux d’adoption forts, recherchez les noms de personnalisation configurés qui apparaissent dans les listes de nombreux utilisateurs. Les noms personnalisés apparaissent à la fois dans les rapports par utilisateur et dans les rapports agrégés d’entreprise et d’organisation. Utilisez des rapports agrégés pour voir l’adoption globale et les rapports par utilisateur pour voir qui utilise chaque personnalisation. Chaque tableau de personnalisation conserve jusqu’à 25 entrées nommées par enregistrement, ainsi qu’une entrée finale other pour l’activité restante.

Les données proviennent de la télémétrie du client et peuvent sous-compter l’activité. Un nom absent ne signifie pas une utilisation nulle : la personnalisation peut être en dehors des entrées conservées, son nom peut être indisponible ou la télémétrie du client peut être manquante. Utilisez ces rapports pour comprendre les tendances, et non pour calculer les taux d’adoption exacts ou vérifier que seules les personnalisations approuvées sont utilisées.

Les nombres distincts indiquent le nombre d’identificateurs d’éléments différents ayant une activité. Dans l’étendue de l’entreprise et de l’organisation, un identificateur compte une fois même si de nombreux utilisateurs interagissent avec lui, n’ajoutez pas de nombres distincts par utilisateur pour reproduire une valeur d’agrégation. Comparez les comptes distincts d’un enregistrement à l’autre ou day_totals pour voir si la diversité des personnalisations associées à l’activité évolue.

SignalCe qu’il suggèreAction suggérée
Une compétence nommée, un agent personnalisé, une commande de barre oblique ou un plug-in a un nombre élevé d’interactions entre de nombreux utilisateursLa personnalisation est largement utile et peut être un bon candidat à la normalisation.Promouvez-le par le biais d’exemples internes, de documents d’intégration ou d’une bibliothèque de personnalisation partagée.
Une personnalisation nommée apparaît dans les entrées conservées pour seulement quelques utilisateurs, mais a un nombre élevé d’interactions pour ces utilisateursL’activité observée se concentre parmi un petit groupe. D’autres utilisateurs peuvent avoir une activité en dehors de leurs entrées nommées retenues.Demandez à ces utilisateurs de partager des exemples de flux de travail. Utilisez ensuite les commentaires des développeurs ou d’autres données internes pour évaluer l’adoption plus large avant de développer l’activation.
Les comptes distincts sont élevés, mais la plupart des interactions sont regroupées sous other ou customLes noms personnalisés peuvent être indisponibles, filtrés, car ils ressemblent à des chemins de fichier ou ne figurent pas parmi les entrées conservées.Vérifiez les versions du client et la couverture des données de télémétrie avant de tirer des conclusions sur les personnalisations en cours d’utilisation.
Le nombre d’interactions reste faible pour une compétence, un agent personnalisé, une commande slash ou un plugin que vous vous attendez à voir les développeurs utiliserLes développeurs peuvent ne pas savoir que la personnalisation existe ou quand elle est utile.Améliorez la détectabilité avec des exemples axés sur les tâches et incluez la personnalisation dans les sessions d’intégration ou d’activation pertinentes.
L’activité de connexion MCP est supérieure ou inférieure à ce qui est prévuLes développeurs peuvent se reconnecter à plusieurs reprises, rencontrer des tentatives de connexion ayant échoué ou le déploiement planifié n’a peut-être pas atteint l’audience prévue. Le nombre de connexions seul ne montre pas si les développeurs utilisent activement des outils MCP.Vérifiez votre processus de configuration et de déploiement MCP, puis utilisez d’autres données internes ou commentaires des développeurs pour évaluer l’utilisation continue du serveur.
L’adoption augmente après une activité d’activationL’activité a peut-être aidé les développeurs à découvrir des personnalisations utiles.Comparez plusieurs périodes de rapport et rassemblez les commentaires des développeurs avant de décider s’il faut développer l’activité.

Examen de l’adoption du modèle

Les graphiques « Utilisation du modèle par jour » et « Utilisation du modèle par mode conversation » vous aident à comprendre les modèles IA les plus fréquemment utilisés.

GraphiqueDescriptifInformations à extraire
Utilisation du modèle par jourAffiche les modèles IA qui alimentent Copilot Chat l’activité.Identifiez si les utilisateurs s’intéressent principalement aux modèles par défaut ou à des expériences avec des modèles plus récents.
Utilisation du modèle par mode de conversationDécompose l’utilisation du modèle par mode conversation (Demander, Modifier, Planifier, Agent).Surveillez l’évolution de l’adoption du modèle à mesure que de nouveaux modèles sont publiés.

Remarque

Les diagrammes d’utilisation du modèle représentent actuellement uniquement l’activité de conversation. Les données d’achèvement ne sont pas incluses dans les répartitions de modèle.

Examen de l’utilisation de la langue

Les graphiques « Utilisation du langage » et « Utilisation du langage par jour » montrent les langages de programmation que les développeurs utilisent le plus souvent avec Copilot.

GraphiqueDescriptifComment l’utiliser ?
Utilisation de la langueAffiche la répartition de l’activité Copilot Chat par langage de programmation.Identifiez où Copilot Chat apporte le plus de valeur et où un support ou un accompagnement supplémentaires pourraient être utiles.
Utilisation de la langue par jourSuit les fluctuations quotidiennes de l’activité linguistique.Détectez les changements dans les priorités de développement ou confirmez si de nouvelles équipes ou projets conduisent à une augmentation de l'activité.

Examen des cohortes d’adoption

La distribution de cohorte d’adoption du tableau de bord d’impact montre le partage des utilisateurs dans chaque phase et la façon dont cette distribution se déplace au fil du temps. Pour connaître les significations de chaque phase et le fonctionnement de la classification, consultez Métriques d’utilisation de GitHub Copilot.

SignalCe qu’il suggèreAction suggérée
Réduction de la part de la phase 1, augmentation de celle de la phase 2 ou de la phase 3Les utilisateurs progressent de la saisie semi-automatique du code vers les flux de travail pilotés par l’agent.Continuer l’activation actuelle ; envisagez de partager des histoires de réussite internes pour soutenir l’élan.
Part d’utilisateurs passifs importante ou croissanteDe nombreux utilisateurs sous licence n’ont pas encore atteint le seuil d’engagement pour une phase.Vérifiez l’attribution de la licence et la configuration de l’IDE ; proposez un accompagnement de prise en main pour réengager les utilisateurs inactifs. Vérifiez également si les utilisateurs concernés utilisent principalement une surface qui ne fait pas partie des critères de classification d’une phase, telle que Copilot Chat sur GitHub.com.
Progression bloquée de la phase 1 à la phase 2Les utilisateurs sont à l’aise avec les complétions et le chat, mais n’ont pas adopté les interfaces agentiques.Suivez une carte de recommandation, par exemple pour configurer Copilot cloud agent, ou lancez une démonstration des flux de travail des agents.
Progression bloquée de la phase 2 à la phase 3Les utilisateurs ont adopté une surface d’agent, mais n’ont pas superposé de surfaces d’agent supplémentaires.Suivez une fiche de recommandation, par exemple en activant Copilot code review, afin d’introduire une deuxième surface d’agent.
La phase d’un utilisateur passe d’un jour à l’autre sans changer ses habitudesL’attribution de la phase est recalculée quotidiennement à partir d’une fenêtre glissante de 28 jours ; la phase d’un utilisateur change donc à mesure que les jours les plus anciens sortent de cette fenêtre.Il s’agit d’un comportement attendu, et non d’une erreur de données ; aucune action n’est nécessaire.

Lorsque vous voyez une carte de recommandation dans le tableau de bord, par exemple pour configurer Copilot cloud agent, activer Copilot code review ou envoyer un rappel d’intégration, suivez le guide pratique associé pour terminer la configuration. Chaque recommandation est générée à partir de la distribution actuelle de la cohorte de votre organisation et cible l’écart le plus susceptible de déplacer les utilisateurs vers une adoption plus approfondie.

Examen du multiplicateur d’adoption

Le multiplicateur d’adoption compare les utilisateurs engagés (phase 1, 2 ou 3) aux utilisateurs passifs sur le code expédié (demandes de tirage fusionnées par utilisateur par mois) et le temps de fusion des demandes de tirage. Cela montre l’impact relatif de l’adoption plus approfondie, indépendamment du nombre d’utilisateurs qui entrent dans chaque phase.

SignalCe qu’il suggèreAction suggérée
Les utilisateurs engagés fusionnent davantage de pull requests chaque mois, par utilisateur, que les utilisateurs passifsUne adoption plus poussée Copilot est associée à une productivité individuelle plus élevée.Utilisez cette comparaison pour étayer l’argument en faveur de la poursuite des investissements dans la montée en compétence.
Les utilisateurs engagés fusionnent moins de pull requests par utilisateur et par mois que les utilisateurs passifsLes utilisateurs engagés peuvent consacrer plus de temps à des travaux plus volumineux ou plus complexes, ou la comparaison peut refléter les différences dans la composition de l’équipe plutôt que sur la profondeur de l’adoption.Croisez ces informations avec la répartition des cohortes d’adoption et les données au niveau des équipes avant de tirer des conclusions ; évitez de considérer le multiplicateur comme un indicateur autonome de productivité.
Les utilisateurs engagés fusionnent les pull requests plus rapidement que les utilisateurs passifsUne adoption plus large est associée à un cycle de vie des pull requests plus court.Utilisez cette comparaison avec les métriques du cycle de vie des pull requests pour évaluer l’impact global sur la livraison.
Le multiplicateur reste stable malgré la croissance de la part des phases 2 ou 3L’adoption de l’agent ne s’est pas encore traduite par une différence mesurable en termes de résultats entre les utilisateurs engagés et les utilisateurs passifs.Vérifiez si l’utilisation de l’agent se concentre chez quelques utilisateurs ou au sein de quelques équipes, et si suffisamment de temps s’est écoulé depuis le déploiement pour que l’impact se manifeste.

Remarque

Le multiplicateur d’adoption compare deux populations différentes d’utilisateurs, pas les mêmes utilisateurs au fil du temps. Les différences dans la composition de l’équipe, la complexité du projet ou l’ancienneté entre les utilisateurs engagés et passifs peuvent influencer la comparaison autant que Copilot l’adoption elle-même.

Analyse des comparaisons du secteur

Le widget de comparaison du secteur compare l’adoption agentique de votre entreprise et son niveau d’exploitation aux résultats agrégés des pairs participants. Passez en revue le classement centile, la médiane des pairs, le décile supérieur et la distribution des pairs ensemble. Ne traitez aucune valeur unique comme une cible.

SignalCe qu’il suggèreAction suggérée
L’adoption agentique est supérieure à la médiane des pairsUne plus grande part de vos utilisateurs a adopté des flux de travail agent-first ou multi-agent que dans la cohorte de comparaison.Poursuivez les pratiques d’habilitation qui prennent en charge les workflows agentiques et passez en revue quelles équipes ont encore un taux d’adoption plus faible.
L’adoption agentique est inférieure à la médiane des pairsVotre entreprise a une marge de progression pour développer l’adoption des workflows agent-first et multi-agent.Passez en revue la répartition des cohortes d’adoption, puis hiérarchisez l’intégration ou l’accompagnement pour les équipes qui restent passives ou code-first.
L’effet de levier est supérieur à la médiane des pairsLe ratio des taux de merge entre les utilisateurs agentiques et non agentiques est plus élevé dans votre entreprise que dans la cohorte de pairs.Passez en revue les pratiques des équipes avec une adoption agentique forte et déterminez si ces pratiques peuvent être appliquées plus largement.
L’effet de levier est inférieur à la médiane des pairsLe ratio des taux de fusion entre les utilisateurs agentiques et non agentiques est inférieur à celui de la cohorte de comparaison.Vérifiez la composition de l’équipe, la complexité du projet et la façon dont les workflows agentiques ont été introduits récemment avant de modifier votre plan de déploiement.
Votre classement s’améliore au cours des périodes de reportingLa position de votre entreprise s’est améliorée par rapport à la cohorte des pairs participants.Vérifiez que l’amélioration s’accompagne de tendances soutenues en matière d’adoption et de pull requests avant d’augmenter l’investissement dans l’accompagnement.
Les résultats ne sont pas disponiblesIl n’y a pas suffisamment de pairs participants éligibles de la même taille d’entreprise pour permettre la comparaison, même après que le tableau de bord a étendu la cohorte de pairs à toutes les industries. Les résultats ne sont pas disponibles lorsque votre propre score ne peut pas être calculé, par exemple lorsqu’il n’y a pas d’utilisateurs actifs ou que tous les utilisateurs actifs sont déjà des utilisateurs agent-first ou multi-agent, ne laissant aucun utilisateur non agentique avec lequel comparer l’effet de levier.Passez en revue les propres tendances d’adoption et d’exploitation de votre entreprise ou de votre organisation lorsqu’elles sont disponibles, jusqu’à ce qu’une comparaison avec des pairs soit disponible.
Votre classement change, mais votre score ne change pasLa cohorte d’homologues participantes a changé ou le tableau de bord vous a comparé à une cohorte différente de celle de la période précédente.Vérifiez quel groupe de pairs la ligne de classement affiche avant de comparer les résultats entre les périodes.

Les comparaisons du secteur montrent les associations, pas la causalité. Les différences de composition d’équipe, de type de projet, de pratiques d’ingénierie et de maturité d’adoption peuvent affecter les deux mesures. La cohorte d’homologues participants peut également changer entre les périodes de rapport.

Examen du retour sur investissement potentiel

La section Retour sur investissement potentiel compare le Copilot coût, le pourcentage estimé de la masse salariale et les pull requests par développeur et par mois entre les phases d’adoption précoce et axée sur les agents. Considérez ces comparaisons comme des corrélations indicatives, et non comme la preuve qu’une variation du taux d’adoption a entraîné une variation des résultats.

SignalCe qu’il suggèreAction suggérée
Les utilisateurs qui privilégient l’agent fusionnent davantage de demandes de tirage, pour un coût similaire ou inférieur en pourcentage de la masse salarialeLe recours prioritaire aux agents est associé à un volume plus élevé de pull requests au regard de l’investissement estimé.Comparez ce signal au multiplicateur d’adoption et aux tendances observées sur plusieurs périodes avant de vous en servir pour orienter les investissements d’accompagnement.
Les utilisateurs privilégiant l’agent fusionnent moins de pull requests ou ont un coût plus élevé en pourcentage de la masse salarialeLes différences de type de travail, de composition d’équipe ou de maturité d’adoption peuvent affecter la comparaison.Passez en revue la distribution des cohortes et le contexte au niveau de l’équipe avant de tirer des conclusions sur le retour sur investissement.
Le pourcentage de paie change après avoir sélectionné un coût de développeur différentLe tableau de bord recalcule l’estimation à l’aide d’une hypothèse de compensation différente, sans afficher de modification de l’utilisation.Utilisez la même bande de rémunération lors de la comparaison de périodes ou d’organisations différentes.

Agir sur vos analyses

Utilisez les tendances d’utilisation, d’adoption des fonctionnalités et d’activité linguistique pour guider la planification de l’activation et du déploiement.

ObservationCause potentielleAction suggérée
Adoption élevée dans certaines équipes, mais faible dans d’autresCertaines équipes n’ont Copilot Chat peut-être pas activé ou configuré correctement.Vérifier l’attribution de licence et la configuration de l’IDE ; offrir l’onboarding au niveau de l’équipe.
Utilisation stable mais faible adoption de l’agentLes développeurs peuvent ne pas connaître les Copilot agent fonctionnalités.Partagez des démonstrations internes ou des histoires de réussite.
Baisse du taux de DAU ou d’acceptationProblèmes de configuration ou pertinence réduite des suggestions.Encouragez les commentaires et vérifiez les versions d’IDE et d’extension.

Conseil

Envisagez de combiner des tendances de tableau de bord avec des commentaires provenant d’enquêtes ou de rétrospectives pour obtenir une image complète de Copilotl’impact sur la productivité des développeurs.