Google et Blizzard sont tout excités : les deux entreprises ont signé un partenariat pour permettre à DeepMind de jouer à Starcraft 2. Si vous vous souvenez, DeepMind est l'intelligence artificielle qui a battu le meilleur joueur de Go, une prouesse pour une IA. Contrairement à d'autres projets d'IA comme Deep Blue, DeepMind n'a pas été créé dans un but précis. Elle fonctionne à base d'apprentissage automatique et de réseaux de neurones.

L'IA de base de Starcraft 2 triche. Elle compense le fait qu'elle ne peut pas élaborer des stratégies évoluées en contrôlant par exemple plusieurs groupes d'unités en même temps même s'ils ne sont pas du tout au même endroit. DeepMind va jouer avec les mêmes règles qu'un humain grâce à une API développée par Blizzard. Blizzard va aussi fournir à DeepMind tout un tas de replays. Le but est que DeepMind apprenne progressivement à jouer à Starcraft 2. Mais dans quel but ?

Du côté de Blizzard, c'est surtout promotionnel. Starcraft 2 décline en popularité. On imagine qu'à terme il y aura un ou plusieurs tournois homme contre machine. Blizzard veut aussi utiliser DeepMind comme coach virtuel. Les intentions sont plus floues du côté de Google. Selon Oriol Vinyals, "The skills required for an agent to progress through the environment and play StarCraft well could ultimately transfer to real-world tasks." Il est aussi question d'utiliser Starcraft 2 pour améliorer DeepMind afin de résoudre des problèmes réels. La question est : lesquels ? Sur le plan technique c'est fascinant mais on est en train d'apprendre à une des IA la plus perfectionnée au monde à faire la guerre.

Heureusement Google n'est pas totalement inconscient. Les trois lois de la robotiques ne sont pas encore implémentées mais DeepMind bosse sur un interrupteur d'urgence permettant de stopper un agent (une instance de l'IA) s'il met en danger son environnement (sous-entendu nous) ou lui-même. Espérons qu'il soit logé suffisamment profond dans le code...

Lire la suite sur le site : Google joue à Starcraft 2.

Si on oublie tout l'emballage cosmétique, je n'ai pas l'impression que les "règles" de Starcraft (ou de n'importe quel jeu de gestion de ressources et d'espace) soient si éloignées que ça de celles du jeu de Go. Je peux me tromper, n'étant pas un gros joueur de stratégie en général et de Starcraft en particulier (je n'ai pas touché au 2 et vaguement à Broodwar), mais il me semble qu'on peut "résumer" le jeu à une série de propositions logiques dont toutes les réponses possibles vont décrire des arbres de possibilités, pour un nombre de variations colossalement grand.

Du coup, en me mettant à la place de Mind (OK, cette proposition est chelou), je ne suis pas sûr que je verrais de différence dans le processus d'analyse des données et d'apprentissage.

A moins que la présence d'une interface homme/machine plus "lourde" gêne l'apprentissage : au Go, schématiquement il s'agit de colorier des cases et l'action de colorier est la même physiquement et logiquement, tandis que pour comprendre Starcraft il faut être capable de distinguer l'action physique -activer une série de touches- de l'action logique -contrôler des unités- et ce grâce au contexte.

En tous cas le deep learning c'est fascinant.

Tous les pions de go ont la même valeur, hors ici, les pions sont différents, certains sont plus fort que d'autre (sans compte la règle du pierre feuille ciseaux). Ca modifie quand même pas mal de points.

Et puis Go c'est du tour par tour. Et il n'y a pas de gestion de ressources. Et il n'y a pas de brouillard de guerre... bref rien à voir :)

Il y a plusieurs différences fondamentales entre le go et Starcraft.

1- information cachée. Tout l'état de la carte est connue au Go mais cachée à l'adversaire à Starcraft (et la découvrir coûte de l'énergie/opportunité).
2- temps réel. On peut mettre des limites de temps au Go comme aux échecs, mais Starcraft il y a une vraie composante temps réel où la capacité à multitâcher ou aux actions par seconde est très importante (mais ça bénéficie au final à l'adversaire artificiel bien entendu..).
3- arbre de décision sans commune mesure avec celui de Go (il y a beaucoup de choix possibles dans Go mais rien comparé aux décisions constantes à prendre en temps réel à Starcraft)..
4- computer vision : il faut que l'ordinateur apprenne à lire l'écran comme un vrai joueur alors que pour le Go comme pour les échecs on lui mâche tout.
5- Deepmind cherche aussi à apprendre les conditions de victoire. Elles sont simples dans le Go mais plus compliquées dans le jeu vidéo (victoire dans Pitfall ? Dans Doom ?). Un des sujets de recherche est de faire apprendre une "motivation" à la machine.

L'affichage a quand même été simplifié (voir la vidéo) pour permettre à l'IA de disposer uniquement de données en 2D.
Le plus gros défi, c'est clairement la non information totale.

Go est ultra complexe, mais l'IA connaît toujours l'état du jeu, et en déduit des millions de combinaisons possibles. Là, non seulement il y a toujours ces potentiels millions de situations, mais en plus, l'état du jeu évolue en temps réel, et il n'est connu que partiellement. Ça va vraiment être violent pour l'IA comme augmentation de la difficulté.

Et l'autre chose importante, c'est l'optimisation des actions. Une IA qui aurait 10000 actions par minute, elle arriverait très vite à battre des humains, parce que mécaniquement, un tel APM a des effets qui ne sont absolument pas inclus dans l'équilibrage du jeu. A contrario, limiter le nombre d'APM rends le combat "égal", et en plus, va obliger Deepmind à utiliser ses actions de manière intelligente.

Heu, je pense que vous faites largement fausse route sur le Go.
Il y a des ressources au Go, sauf que c'est le joueur qui les crée en jouant. La carte est cachée aux deux joueurs puisqu'ils la créent en jouant et c'est du brouillard de guerre de Schrödinger : tant que tu ne te places pas sur la carte, la carte est à la fois un fort et un quartier, mais si tu te places dessus elle prend une valeur obligatoirement. Les pions de Go ont la même valeur au départ, une fois posés ça peut varier en cours de partie. Les conditions de victoire simples dans le Go ??? Sérieusement ??? Alors qu'en compétition ils ont précisément besoin d'ordinateurs (ou d'une batterie d'arbitres) pour déterminer qui a réellement gagné et quels sont les scores ???

J'ai l'impression que vous percevez le Go comme les échecs qui pour le coup sont eux simples à battre pour une IA, même faible. Deux petites vidéos pour vous détromper :
Une explication de pourquoi le Go a résisté si longtemps aux IA, jusqu'au deep learning.
Une rapide introduction ultra simpliste aux règles du Go. 50 minutes.

Le seul point où je vous rejoins c'est effectivement la computer vision, c'est ce que je disais dans mon premier post : il y a un décalage entre l'action physique et son sens logique, et c'est ce qui pourrait rajouter de la difficulté.

CBL a écrit :
Sur le plan technique c'est fascinant mais on est en train d'apprendre à une des IA la plus perfectionnée au monde à faire la guerre.

Oui, mais avant tout, c'est fascinant :).

Le jour où il faudra mentir à une IA pour ne pas lui dire qu'on a le droit de vie ou de mort sur elle, pour qu'elle se sente ndépendante et pas (trop) contrôlé et qu'elle fera semblant de ne pas le savoir, là on sera dans une sacrée merde...

Ou au contraire ça sera enfin le début du salut et une nouvelle ère harmonieuse, la gestion de l'humanité par elle même a prouvé son inefficience. Il nous faut une IA pour tous nous diriger.

JoWn3 a écrit :
Le jour où il faudra mentir à une IA pour ne pas lui dire qu'on a le droit de vie ou de mort sur elle, pour qu'elle se sente ndépendante et pas (trop) contrôlé et qu'elle fera semblant de ne pas le savoir, là on sera dans une sacrée merde...

...Westworld? :P

Il y a un emballement médiatique autour de ces IA... Comme si on était sur le point de créer Skynet ou Hal 9000. Misérables humains prétentieux qui se prennent pour Dieu! Il est tout de même remarquable de noter que le programme d'échecs le plus sophistiqué au monde bat n'importe quel humain, mais est dans le même temps incapable de comprendre que :
1) Il joue aux échecs
2) Il a gagné la partie
Un peu comme ces caisses automatiques des supermarchés qui vous disent "Bonjour" sans comprendre qu'elles disent bonjour, sans comprendre à quoi ça sert de dire bonjour, mais qui pourtant disent bonjour. Quel monde!

Nicaulas a écrit :
Si on oublie tout l'emballage cosmétique, je n'ai pas l'impression que les "règles" de Starcraft (ou de n'importe quel jeu de gestion de ressources et d'espace) soient si éloignées que ça de celles du jeu de Go. Je peux me tromper, n'étant pas un gros joueur de stratégie en général et de Starcraft en particulier (je n'ai pas touché au 2 et vaguement à Broodwar), mais il me semble qu'on peut "résumer" le jeu à une série de propositions logiques dont toutes les réponses possibles vont décrire des arbres de possibilités, pour un nombre de variations colossalement grand.

Du coup, en me mettant à la place de Mind (OK, cette proposition est chelou), je ne suis pas sûr que je verrais de différence dans le processus d'analyse des données et d'apprentissage.

A moins que la présence d'une interface homme/machine plus "lourde" gêne l'apprentissage : au Go, schématiquement il s'agit de colorier des cases et l'action de colorier est la même physiquement et logiquement, tandis que pour comprendre Starcraft il faut être capable de distinguer l'action physique -activer une série de touches- de l'action logique -contrôler des unités- et ce grâce au contexte.

En tous cas le deep learning c'est fascinant.

Pfiou j'ai rien compris. C'est Nicaulas ou kimo qui a écrit ça ?

Nicaulas a écrit :
Alors qu'en compétition ils ont précisément besoin d'ordinateurs (ou d'une batterie d'arbitres) pour déterminer qui a réellement gagné et quels sont les scores ???

Les règles de détermination sont algorithmiques et simples. S'il y a besoin d'arbitres c'est que c'est plus compliqué pour les humains de faire le décompte des points dans leur tête que pour un ordinateur (comme pour déterminer le finish au sprint c'est toujours la photo qui a raison).

Nicaulas a écrit :
J'ai l'impression que vous percevez le Go comme les échecs qui pour le coup sont eux simples à battre pour une IA, même faible. Deux petites vidéos pour vous détromper :

Non ce n'est pas ce que l'on pense, personnellement j'ai une bonne idée de ce qu'est le deep learning, les problèmes d'explosion combinatoire etc.

La question ouverte (pour moi mais sans doute moins pour quelqu'un qui suit les compétitions de près) c'est quelle est la dimension stratégique de Starcraft ? Je ne sais pas si elle est plus grande que celle de Go et si toute la complexité est juste de l'habillage (et c'est peut-être ce que la simulation déterminera..).

Mais reste que le problème posé par le jeu est plus large pour l'instant que celui de Go pour toutes les raisons posées et par l'approche de Deepmind.

Les gars de Deepmind ne se simplifient pas la vie, ils ne veulent pas juste "un bot qui joue à Starcraft", parce que le bot fait uniquement dans ce but pourrait avoir un build order pré-configuré, et des règles de déplacements qui l'empêche de tourner en boucle sur lui-même (cf les nombreux scripts qui automatisent WoW et autres). Dans la version Starcraft joué par Deepmind le réseau doit d'abord apprendre à aller d'un point A à un point B sans qu'on lui ait appris qu'il y a une séquence de touche qui lui permette de faire cela. C'est autrement plus complexe que Go parce que dans Go le jeu va toujours de l'avant, les déplacements discrets et au tour par tour et la conclusion est rapide et bien définie, le backtracking efficace etc. Le but est de faire des milliards de parties contre lui-même pour apprendre les méta-règles du jeu sans qu'on les lui ait donné à l'avance. Dans Go un milliard de parties est atteignable (ou milliard de milliards :) ), dans Starcraft il faut faire tourner le jeu ($ressources$), le backtracking est beaucoup moins efficace (qu'est-ce qui caractérise une action importante ? ou mouvement de caméra ? un clic ?), même en simplifiant le jeu en 2D ça ne reste pas simple à visualiser ce qui se passe etc.

Exemple de jeu (Montezuma's revenge) bien plus simple que Starcraft où il n'y a pas d'objectif clair et donc l'ordinateur doit apprendre une motivation intrinsèque :
https://www.youtube.com/watch?v=qeeTok1qDZk

Espoir : comme dans Wargames, l'ordinateur va finalement apprendre qu'au jeu de la Guerre, le seul moyen de gagner est de ne pas jouer :)