Il y a quelques années, Retro Recipes a tenté une expérience marrante : faire jouer le Battle Chess de l'Amiga contre une version PC sortie il y a une dizaine d'années. Robert Caruso a voulu tenter la version 2025, à savoir faire jouer un LLM contre un jeu d'échecs antique. Le LLM en question était ChatGPT et le jeu d'échecs Chess sur Atari 2600. On parle d'une machine ayant un CPU 8 bits de 1975 cadencé à 1,19 Mhz et faisant tourner un jeu d'échecs dont l'IA n'arrive qu'à anticiper au mieux deux coups d'avance.

Lire la suite sur le site : Échecs et statistiques.

Le vrai problème c'est d'appelé cela de l'IA alors que ce n'est pas vraiment intelligent, pour vulgariser c'est de la complétion automatique avec un énorme contexte ca tire des jetons "au hasard" en fonction d'un contexte, plus ce dernier est grand précis mieux cela marche. Du coup quand on joue aux échecs il n'y a pas de vraie réflexion, là ou la 2600 analysait des coups potentiels et ne faisait que cela.

Maintenant il faut voir que cela permet quand même pas mal de choses lorsque cela est bien utilisé, pour mon job de développeur c'est un gain de temps énorme, et cela donne franchement des résultats parfois impressionnant en très peu de temps.

Les éléments qui manquent à la news :

Faire une IA qui joue bien aux échecs est devenu trivial, le meilleur joueur d'échec au monde est probablement Stockfish qui utilise les réseaux neuronaux dans sa dernière version. Les mêmes réseaux neuronaux qui animent ChatGPT, seule la recette d’entraînement est différente. (pareil pour le meilleur joueur de Go qui est basé sur les réseaux neuronaux et le reinforcement learning).

Si Stockfish est le meilleur joueur d'échec au monde, il n'est pas trop fort en reconnaissance de caractère, à l'écriture de poème, de génération d'images ou la traduction automatique. À l'opposé, Gemini/Claude/GPT dominent dans ces domaines. À noter qu'il est possible de faire des fine-tunes de LLMs pour jouer mieux aux échecs mais c'est évidemment super inefficace comparé à la recette d’entraînement de moteur spécialisé.

S'ils hallucinent encore, le taux d'hallucinations descend pour les modèles les plus avancés sans parler des possibilité de faire du "grounding" (le grounding utilise des sources d'information de "confiance" dans la composition de la réponse d'un LLM, intéressant par exemple dans l'interprétation d'une doc technique, etc).

Ils ne dépassent pas encore les humains pour l'écriture de prose (quoique comparé à l'humain médian dans toutes les langues humaines..), mais pour l'OCR et la traduction automatique ils ne sont pas loin derrière (derrière les experts, les humains moyens sont largués). Sans parler bien sûr de toutes les applications utilisées par des millions d'utilisateurs dans la recommandation, sommairisation, programmation, explication de domaines techniques super pointus. Pas encore possible de s'y reposer à 100%, mais suffisamment utile pour un nombre énorme de gens dans leur état "imparfait" actuel.

C'est pour les raisons exposées dans la news, que certains, dont John Carmack, développent des AGI. Ces IA généralistes sont censées à terme pouvoir faire tout ce que nous faisons en ayant appris les concepts derrière les mots et les images. La conclusion pourrait cependant être la même : si elles ont accès aux bonnes données et aux bons boutons, on peut se retrouver échec et mat.

Mais si on y réfléchit aussi, certains patrons ou hommes de pouvoir qui ont accès aux données et aux boutons ne se privent pas de nous mettre collectivement échec et mat aussi. Donc le challenge est plutôt de savoir lequel serait le moins pire, si je puis dire.

Bordel, ça me rappelle les vidéos de Julien Song qui fait jouer 2 IA l'une contre l'autre... Ça part très vite en cacahuète !

L'article de Futurism est particulièrement flippant. J'étais complètement passé à côté du risque d'induction de psychoses chez des personnes jusqu'ici saines. J'imagine que les personnes déjà un poil complotistes vont être particulièrement touchées.

Les 16 LLM testé d'OpenAI, Google, Meta, xAI... ont tous eu des comportements méchants à base de chantage et d'espionnage s'ils apprenaient qu'on allait attenter à leur "vie" ou bloquer leurs objectifs.

J'imagine que beaucoup l'ont déjà vu, Monsieur Phi avait fait une vidéo sur ce sujet qui est passionnante, comme en général toutes ses vidéos sur l'IA :
o1 et Claude sont ils capables de nous manipuler ? Deux études récentes aux résultats troublants

Merci pour l'article!

Anglemort : L'IA ne ment pas, elle se contente de faire de l'autocompletion avec un contexte qui pousse vers le mensonge dans le "scénario" mis en place par les auteurs. Il est frappant d'ailleurs de constater que lorsqu'on l'interroge sur ses décisions après qu'elle a "triché et menti", elle utilise les mêmes tournures de phrases que HAL 9000 dans 2001 l'odyssée de l'espace, ce qui rend le résultat amusant car on a l'impression de lire le script d'un film de SF.
Ce qui m'inquiète, ce n'est pas les LLM en tant que tel, mais l'aveuglement des gens qui leur prêtent une conscience. La machine fait illusion, mais rien d'autre que ça. La preuve que les LLM n'ont aucune intelligence saute aux yeux quand on les confronte à des environnements où les données disponibles sont insuffisantes pour avoir de quoi piocher quelque chose de potable (voire de possible).
Les échecs montrent très bien à quel point les LLM n'ont rien à voir AIG, et la vidéo de Julien Song, youtubeur que je suis avec plaisir depuis quelques années, est tout à la fois instructive et hilarante.
Il y a en tous cas une véritable difficulté à évaluer de manière objective en quoi un agent peut être considéré comme "intelligent". Malgré son statut de référence dans le monde de l'IA, le test de Turing est finalement une très mauvaise façon d'évaluer l'intelligence d'une machine, puisque nous avons aujourd'hui des machines sans intelligence capable de le réussir.