Le fonctionnement de chatGPT analysé grâce à Anatella

Le cabinet d’études IntoTheMinds vient de publier une nouvelle analyse sur ChatGPT réalisée grâce à Timi, et plus particulièrement grâce à Anatella.

Cette analyse a pour périmètre un corpus de 1000 textes produits grâce à chatGPT et dont la similarité a été analysée en utilisant les fonctionnalités uniques d’Anatella (méthode de Dice). Les résultats permettent d’éclairer d’une lumière nouvelle l’effet du prompt dans le mode de fonctionnement de chatGPT.

Dans cette expérience, des instructions minimales avaient été fournies à chatGPT afin de produire un texte de 500 mots sur un sujet déterminés. Les résultats ont été comparés à ceux issus d’une analyse précédente dans laquelle les instructions étaient plus détaillées.

Les résultats sont les suivants :

• la similarité des textes produits par ChatGPT augmente d’environ 5% lorsque le niveau de détail du prompt. En d’autres termes, moins vous donnez d’instructions à chatGPT, moins chatGPT va faire preuve de créativité dans sa production. Cette conclusion est valable tout aussi bien pour la régénération des réponses à une même question, qu’à des questions différentes mais formulées aussi laconiquement
  
  
• Les textes régénérés par ChatGPT en réponse à une même question sont extrêmement similaires. Le taux de similarité, mesurée avec la méthode de Dice varie de 76% à 80%. En d’autres termes, même en régénérant la réponse, le texte produit sera très largement similaire au précédent
  
  
• Etonnamment, même lorsque les questions sont différentes les réponses de chatGPT se ressemblent. Vingt questions différentes ont été posées et le taux de similarité moyen entre les réponses étaient de 65%.
  
  
• L’unique instruction données (sur la longueur du texte) est respectée sur l’ensemble du corpus (1000 textes) avec une précision de +/-1%

Cette analyse est particulièrement intéressante car elle montre toute l’étendue des possibilités offertes par Anatella. Non seulement Anatella a permis de résoudre des problèmes complexes de traitement des données, mais le traitement du corpus a également été réalisé en un temps record. Ceci confirme les résultats précédemment publiés lors du benchmark réalisé par IntoTheMinds avec d’autres solutions d’ETL.

Source : IntoTheMind

Photo de Daniel Perunov sur Unsplash.