SethBling n'est pas exactement un Youtubeur comme les autres. En plus d'être un dieu du pad, c'est aussi un développeur. On se souvient par exemple de son mod Splatoon pour Minecraft. Mais il a aussi fait des choses bien plus poussées. Il y a plus de deux ans, il créait un système d'apprentissage automatique pour Super Mario World permettant ainsi à une IA d'y jouer.

Il vient de remettre le couvert cette fois avec Super Mario Kart. Il a développé MariFlow, un système d'apprentissage automatique fondé sur la bibliothèque libre TensorFlow. Cette fois, à la place de forcer la machine à repartir de zéro, SethBling a joué pendant 15H et a laissé l'IA apprendre en le regardant jouer. Puis SethBling a permis à la machine de jouer par elle-même. Elle a remporté l'or en 50cc dans les coupes Mushroom et Flower et l'argent pour la coupe Star.

Vous pouvez tester par vous-même en suivant ces instructions. Il y a quelque chose de terrifiant et de fascinant dans le fait de créer un clone virtuel de soi-même, même une toute petite partie. SethBling n'est qu'un humain à la durée de vie limitée mais il est fort possible que l'IA qu'il a créé continue de jouer infiniment à Super Mario Kart. Et pourtant, elle ne comprendra jamais qu'elle joue à un jeu vidéo ni n'éprouvera de plaisir à gagner.

Lire la suite sur le site : Jeu, Seth et Match.

J'ai rien compris au truc du sigmoid... mais j'ai compris que le neural network ne savais pas ce que c'était que gagner une course... donc... j'ai gagné?

Il y a plusieurs façons d’entraîner un réseau neuronal.

Il met en parallèle deux manières : dans un cas le joueur artificiel apprends ce qu'est un objectif de jeu et cherche à atteindre cet objectif (exemple récent : Alpha Go Zero ou l'expérience Deep Mind avec Breakout), dans un autre cas le joueur artificiel regarde un joueur humain jouer et pour chaque situation de jeu nouvelle essaie de déterminer ce qu'aurait fait le joueur humain sans savoir ce qu'est un score ou une course. Dans certains cas on peut combiner les deux (s’entraîne avec des joueurs humains initialement puis joue contre lui-même).

Le deuxième cas est le plus facile à mettre en oeuvre pour l'auteur de MarioFlow. Mais comme il l'explique parfois ça veut dire que l'IA reste bloquée parce qu'elle se met dans des situations que les joueurs humains n'auraient pas expérimenté (puis il explique comment il l'a débloquée).

Pour le sigmoide : C'est juste des maths. En gros quand tu combines (multiplie et additionne) des fonctions purement linéaires comme (F(x) = Ax+B), tu auras toujours une fonction linéaire en sortie (donc F'(x) = A'x + B') c'est à dire une fonction qui a toujours le même nombre de paramètres (deux paramètres ici) et qui ne peut donc pas représenter des processus complexes. Pour que ton réseau de neurone apprenne des processus complexes il faut donc introduire des "non linéarités", et la fonction sigmoide (ce n'est pas un type de fonction précise mais une famille de fonctions qui ressemblent vaguement à un "S" <- "en forme de Sigma"), surtout si elle est super facile à implémenter en code/hardware et facile à dériver, introduit cette non linéarité.