FORWARD
Now Reading:

Le test de Turing permet-il de mesurer l’intelligence d’un chatbot ?

Si les chatbots sont de plus en plus souvent associés à l’intelligence artificielle (IA), on distingue en réalité plusieurs degrés de sophistication parmi les différents outils disponibles sur le marché.

Les degrés d’intelligence des chatbots sur le marché

Les agents conversationnels les plus basiques se contenteront ainsi d’identifier et analyser les mots clefs de leur interlocuteur humain comme Eliza le tout premier chatbot de l’histoire créé dans les années 60, tandis que d’autres plus avancés intègreront également la gestion des intentions grâce au « Natural Langage Processing » (NLP). Ces techniques d’analyse du langage naturel permettent à la machine de comprendre la signification de la phrase écrite ou prononcée dans son ensemble, et ce quelque soit les tournures de phrase utilisées. Enfin, les plus évolués utiliseront du machine learning qui donne la capacité au robot de s’améliorer au fil des conversations. L’objectif final de tous ces outils de chatbots étant de pouvoir interagir avec un être humain afin de lui fournir des informations ou simplement converser avec lui, ce qui implique de se rapprocher le plus possible du fonctionnement du cerveau humain.

 

Alan Turing

Alan Turing

 

Le test de Turing comme outil de mesure de l’intelligence

Mais de quelle manière peut-on mesurer l’intelligence de ces robots ? Le test imaginé par Alan Turing en 1950 dans un article intitulé « Computing Machinery and Intelligence » reste le plus connu. Dans sa version finale la plus simplifiée, le « jeu d’imitation », renommé ultérieurement « test de Turing », demande aux membres d’un jury de déterminer en posant des questions via un ordinateur s’ils conversent avec un homme ou une machine. Si des débats de puristes ont régulièrement lieu à propos de la durée du test et du pourcentage du jury qui doit pouvoir identifier avec certitude la nature de l’interlocuteur, cette manière de mesurer l’intelligence d’un chatbot n’en reste pas moins la plus employée de nos jours. Le prix Loebner organisé chaque année et ce depuis 1991 fait partie des concours les plus populaires utilisant le test de Turing. Et les fameux « CAPTCHA » présents sur les pages de formulaires Internet utilisés pour prévenir les spams sont également une référence au test du mathématicien britannique puisque l’acronyme signifie tout simplement « Completely Automated Public Turing test to tell Computers and Humans Apart ».

 

CAPTCHA Turing

Exemple de CAPTCHA

 

Les limites du test de Turing

Ce test de Turing est néanmoins de plus en plus remis en cause par une partie de la communauté scientifique qui en dénonce les limites. Il lui est par exemple reproché de ne retenir qu’un seul critère dans le calcul de l’intelligence puisque seule l’aptitude à communiquer est prise en compte. De plus, certains experts affirment que ce test ne détermine pas vraiment le niveau d’intelligence mais plutôt la capacité du robot à se faire passer pour un être humain puisque si une question de calcul mental complexe est posée, la machine aura plutôt intérêt à ne pas répondre trop rapidement ou à ne pas répondre du tout même si elle en connaît la réponse sous peine de se faire démasquer. Enfin, ce test part du pré-requis que l’intelligence humaine est la seule possible alors que l’on sait qu’il existe d’autres formes d’intelligence.

 

 

Les alternatives au test de Turing

Des alternatives existent dont le « Winograd Schema Challenge » (WSC) imaginé par Hector Levesque, un professeur de l’université de Toronto. Ce test consiste en plusieurs questions à choix multiples qui implique un niveau de compréhension complexe des phrases. D’autres propositions utilisent la capacité à détecter l’humour, le sarcasme, l’ironie comme « The Marcus Test » ou encore la créativité comme « The Lovelace Test 2.0 ». « The Visual Turing Test » détourne quant à lui le test originel en y ajoutant des questions basées sur l’observation d’une image : il faudra par exemple trouver où se trouve la tasse de café sur la scène affichée. Pour en savoir plus sur les différentes alternatives, cliquez ici.

 

Written by

    Leave a Reply

    Your email address will not be published. Required fields are marked *