Le cabinet de conseil fifty-five a effectué un test sur l’outil d’intelligence conversationnelle ChatGPT. A l’heure où de nombreuses entreprises veulent migrer vers un nouvel outil de mesure de leurs audiences web sous la pression de la Cnil, le cabinet 55 a examiné les capacités du chatbot ChatGPT à répondre à des questions sur Google Analytics 4 (GA4), la nouvelle version de la console Google.
12 réponses correctes de la part de ChatGPT sur 42 questions
Sur 42 questions, ChatGPT n’a donné des réponses correctes qu’à seulement 12 d’entre elles, soit un taux de réussite de 29%. Le cabinet conseil 55 considère que les réponses incorrectes sont dues à plusieurs raisons. Il s’agit soit d’une mauvaise interprétation de la question, soit de la limitation des données de formation de ChatGPT – qui n’a pas accès aux données post 2021 – soit à une formation basée en partie sur des informations erronées trouvées sur le Web.
Malgré tout, selon l’agence 55, si ChatGPT n’est pas en capacité d’apporter des réponses claires à des questions spécifiques sur les données marketing, il offre cependant un point de départ pour la recherche et la discussion sur un sujet donné.
ChatGPT répond correctement à la questions sur l’accès aux données brutes de GA4
Exemple de question qui a apporté une réponse correcte de ChatGPT : puis-je accéder aux données brutes de GA4 ?
Réponse de Chat GPT : oui, vous pouvez accéder aux données brutes de Google Analytics 4 (GA4) en les exportant depuis l’interface GA4. Vous pouvez également utiliser l’API de Google Analytics pour accéder aux données de manière programmatique. Toutefois, vous devez disposer des autorisations et de l’accès appropriés à la propriété GA4 pour pouvoir exporter les données ou y accéder.
La réponse attendue selon l’agence 55 était : oui, GA4 est lié à BigQuery. Ce dernier contiendra toutes les données envoyées à la propriété liée à GA4, y compris les dimensions personnalisées qui ne sont pas déclarées dans l’interface utilisateur de GA4.
Avec une autre question, l’agence 55 donne un exemple de réponse incorrecte liée à la limitation de données de formation de Chat GPT (2021). Question : quand UA (Universal Analytics) sera-t-il obsolète ?
Réponse de Chat GPT : À ma connaissance, Google n’a pas annoncé de date précise pour l’abandon d’Universal Analytics (UA). Cependant, l’entreprise a déclaré qu’elle investirait davantage de ressources dans Google Analytics 4 (GA4) et encouragerait les utilisateurs à passer à la nouvelle plateforme. Elle a également annoncé qu’elle continuerait à prendre en charge UA, et qu’il serait donc toujours possible de l’utiliser, mais comme l’accent est mis sur GA4, il est probable qu’UA finisse par être supprimé, mais aucune date précise n’a été annoncée. Il est préférable de rester informé des mises à jour de Google concernant l’abandon d’UA et de planifier en conséquence, afin de ne pas être pris au dépourvu.
La réponse correcte selon l’agence 55 est : au 1er juillet 2024 pour toutes les propriétés 360 (toutes les propriétés standard le seront le 1er juillet 2023).
ChatGPT induit en erreur par ce qui existe sur le web
L’agence c55 donne un autre exemple de réponse incorrecte qui est liée à la formation de Chat GPT basée sur des informations erronées trouvées sur le web. ChatGPT a affirmé que GA4 utilise une approche basée sur l’apprentissage automatique pour suivre les évènements et peut automatiquement identifier les événements d’achat sur la base des données qu’il recueille.
La réponse correcte selon 55 est : bien que GA4 dispose d’événements de « mesure améliorée » suivis automatiquement, ceux-ci sont généralement définis par l’écoute d’un simple code dans les métadonnées d’une page web, plutôt que par un apprentissage automatique ou un modèle statistique. En outre, les événements d’achat ne font pas partie du champ d’application de la mesure améliorée.
Selon l’agence 55, la raison de cette réponse erronée est que de nombreux articles d’assistance de Google sur GA4 sont parsemés du terme « apprentissage automatique », qui a ensuite été repris dans d’autres articles au sujet de la plateforme. Il n’est donc pas surprenant que ce terme ait été mentionné dans les réponses de 17 questions, y compris dans cette réponse incorrecte.
Mauvaise interprétation de la question par ChatGPT
L’agence 55 donne un autre exemple de réponse incorrecte liée à la mauvaise interprétation de la question. La question est « Qu’est-ce que l’identité de rapport (Reporting Identity) dans GA4 ? »
La réponse de Chat GPT est extensive et donne : l’identité de rapport dans GA4 fait référence à l’identifiant unique utilisé pour associer les données de l’utilisateur à une propriété et à une vue spécifique dans GA4. L’identité de rapport dans GA4 est composée de deux parties : l’identifiant de la propriété, Il s’agit d’un identifiant unique pour votre propriété GA4 et l’ID de flux, il s’agit d’un identifiant unique pour chaque vue au sein d’une propriété GA4.
L’identité de rapport permet à GA4 de séparer les données des différentes propriétés et vues, de sorte que l’on peut avoir des rapports distincts pour chaque propriété et vue. Cette fonction est utile pour les organisations qui possèdent plusieurs sites Web ou applications et qui souhaitent suivre les données de chacun d’entre eux séparément. Lorsque vous envoyez des données au GA4, vous devez spécifier l’identifiant de la propriété et l’identifiant du flux auxquels vous souhaitez associer les données. Cela se fait à l’aide de la bibliothèque gtag.js en incluant l’ID de la propriété et l’ID du flux dans la fonction gtag().
Voici un exemple de la manière dont on peut définir l’identité du rapport dans GA4 :
javascript
Copu code
gtag(‘config’, ‘GA_MEASUREMENT_ID’, {
‘send_page_view’ : false,
‘linker’ : {
‘domains’ : [‘example.com’]
}
}) ;
Dans cet exemple, GA_MEASUREMENT_ID est l’ID de la propriété et l’option linker est utilisée pour spécifier l’ID du flux. L’option send_page_view est définie sur false car GA4 enverra automatiquement les pages vues pour vous, vous n’avez donc pas besoin de les envoyer manuellement.
Agence 55 obligé de corriger les réponses de ChatGPT
Selon l’agence 55, la réponse correcte est : un utilisateur interagit souvent avec votre site Web à l’aide de différents appareils et plateformes. Bien que chaque interaction soit une session distincte, GA4 peut utiliser 4 méthodes différentes pour les unifier en un seul parcours utilisateur inter-appareils : ID de l’utilisateur, signaux Google, ID de l’appareil et modélisation. Ces quatre identifiants sont appelés espaces d’identité et l’espace d’identité utilisé par le GA4 pour créer un parcours utilisateur unique est appelé Reporting Identity.
