Standardisiertes Modell zur Bewertung generativer KI zur Unterstützung der Marktforschung: ChatGPT-Test

Standardized model for evaluating generative AI in support of marketing research: ChatGPT test

Modèle standardisé d'évaluation des IA génératives en soutien à la recherche marketing : Test de ChatGPT

Jérôme Baray (1) , Alain Decrop (2) , Gérard Cliquet (3)

1 ARGUMans - Laboratoire de recherche en gestion Le Mans Université
2 FUNDP - Facultés Universitaires Notre Dame de la Paix
3 CREM - Centre de recherche en économie et management

This study focuses on evaluating the performance of artificial intelligence (AI), with a particular emphasis on ChatGPT, in the context of marketing research. Following a literature review on the use of AI in academic research, we developed a standardized methodology to assess the effectiveness of AI in all phases of research, from idea generation to article writing. Through tests based on realistic research scenarios and focused on the hot topics identified by the French Marketing Association (afm), we evaluated ChatGPT's ability to generate relevant, reliable, and valid information for each stage. Our findings reveal that ChatGPT is particularly effective at proposing research questions, synthesizing information, analyzing qualitative data, and assisting in the structuring of articles. The study also highlights the limitations and challenges associated with the use of AI, particularly in terms of ethical considerations and potential biases

Cette étude se concentre sur l'évaluation des performances de l'intelligence artificielle (IA), avec un accent particulier sur ChatGPT, dans le cadre de la recherche en marketing. Suite à une revue de la littérature sur l'emploi de l'IA en recherche académique, nous avons développé une méthodologie standardisée pour évaluer l'efficacité de l'IA dans toutes les phases de la recherche, de la génération d'idées à la rédaction d'articles. À travers des tests basés sur des scénarios réalistes de recherche et axés sur les sujets brûlants identifiés par l'Association Française du Marketing (afm), nous avons évalué la capacité de ChatGPT à générer des informations pertinentes, fiables et valables pour chaque étape. Nos découvertes révèlent que ChatGPT est particulièrement efficace pour proposer des questions de recherche, synthétiser des informations, analyser des données qualitatives et aider à la structuration d'articles. L'étude met également en lumière les limitations et les défis associés à l'utilisation de l'IA, en particulier en ce qui concerne les questions éthiques et les biais potentiels.

Mots clés: AI; research process; marketing research; evaluation methods; ChatGPT

Mots clés: IA; processus de recherche; recherche en marketing; méthodes d'évaluation; ChatGPT; intelligence artificielle; IA générative

Domaines: Gestion et management; Intelligence artificielle [cs.AI]

Jérôme Baray, Alain Decrop, Gérard Cliquet. Modèle standardisé d'évaluation des IA génératives en soutien à la recherche marketing : Test de ChatGPT. 21ème colloque international de l'Association Tunisienne de Marketing, Association Tunisienne de Marketing, Apr 2024, Hammamet (Tunisie), France. ⟨hal-04547450⟩