ACTU
Sony et l'histoire de l'AR
par CBL,
email @CBL_Factor
Un peu comme tout le monde, Sony fait de la réalité augmentée sans trop savoir quoi en faire. En 2011, ils avaient annoncé leur SDK SmartAR qui leur permettait de faire de suivre des images en temps réel. Les images en question peuvent être tout et n'importe quoi (ou presque) et il n'y a pas besoin qu'elle contienne un cadre noir et/ou un code spécifique. C'est ce qu'on appelle du markerless tracking par opposition au marker tracking. Des boites comme Metaio, Total Immersion ou Qualcomm ont développé des technologies similaires.
Le principe est toujours le même : les images qu'on veut reconnaitre sont pré-enregistrés dans le système sous forme de points d'intérêt. Les points d'intérêt sont les différences de contraste très marquées dans une image. Par exemple un gros titre en gras sur fond clair aura tout plein de points d'intérêt autour des lettres. Après le système va analyser en temps réel les points d'intérêt présents dans le flux vidéo de la caméra. S'il trouve que le schéma d'un ensemble de points dans la vidéo correspond à celui d'un ensemble de points d'une des images enregistrées, il va savoir que l'image est présente dans la vidéo et commencer à la suivre. En fonction de la taille de l'image dans la vidéo, il va pouvoir connaitre sa distance par rapport à la caméra. Grâce à des systèmes de déformation/projection, il va pouvoir connaitre son orientation.
Tout cela se fait avec une caméra classique. Plus la définition de la caméra est bonne et plus on peut suivre un objet petit/éloigné. Le tout repose sur des algorithmes de reconnaissance d'image ultra-poussés et qui demandent énormément de puissance de calcul. Mais ce sont des calculs qui se parallélisent très bien et qui peuvent tourner aussi bien plus sur le CPU que le GPU. La plus grosse bibliothèque graphique en matière d'analyse image s'appelle OpenCV. C'est la base de tous les SDK de réalité augmentée. L'année dernière, elle a été portée sur OpenCL permettant de la faire tourner aussi bien sur le CPU que le GPU.
Revenons à Sony. Le Playstation Y Lab a montré deux vidéos présentant leurs derniers travaux en matière de réalité augmentée. Dans les deux cas, cela tourne avec une PS4 et une PS camera. La première vidéo présente du markerless tracking assez classique. Le petit plus est la physique des particules. La deuxième vidéo est bien plus bluffante. En détectant l'éclairage réel, ils arrivent à le reproduire dans la partie virtuelle de la scène.
On peut se dire que développer un jeu utilisant la PS camera est assez limitant vu que c'est un accessoire mais c'est faux. La PS camera se vend très bien. Durant la GDC, Sony a expliqué qu'ils avaient sous-estimé la demande et qu'ils avaient vendu 900 000 caméras, soit 15% du parc de PS4. La raison est simple : en combinant Twitch et l'appli gratuite Playroom, les gens peuvent streamer en direct leur salon. De plus, la PS camera va être obligatoire pour le projet Morpheus (pour le suivi de la position de la tête).
Le principe est toujours le même : les images qu'on veut reconnaitre sont pré-enregistrés dans le système sous forme de points d'intérêt. Les points d'intérêt sont les différences de contraste très marquées dans une image. Par exemple un gros titre en gras sur fond clair aura tout plein de points d'intérêt autour des lettres. Après le système va analyser en temps réel les points d'intérêt présents dans le flux vidéo de la caméra. S'il trouve que le schéma d'un ensemble de points dans la vidéo correspond à celui d'un ensemble de points d'une des images enregistrées, il va savoir que l'image est présente dans la vidéo et commencer à la suivre. En fonction de la taille de l'image dans la vidéo, il va pouvoir connaitre sa distance par rapport à la caméra. Grâce à des systèmes de déformation/projection, il va pouvoir connaitre son orientation.
Tout cela se fait avec une caméra classique. Plus la définition de la caméra est bonne et plus on peut suivre un objet petit/éloigné. Le tout repose sur des algorithmes de reconnaissance d'image ultra-poussés et qui demandent énormément de puissance de calcul. Mais ce sont des calculs qui se parallélisent très bien et qui peuvent tourner aussi bien plus sur le CPU que le GPU. La plus grosse bibliothèque graphique en matière d'analyse image s'appelle OpenCV. C'est la base de tous les SDK de réalité augmentée. L'année dernière, elle a été portée sur OpenCL permettant de la faire tourner aussi bien sur le CPU que le GPU.
Revenons à Sony. Le Playstation Y Lab a montré deux vidéos présentant leurs derniers travaux en matière de réalité augmentée. Dans les deux cas, cela tourne avec une PS4 et une PS camera. La première vidéo présente du markerless tracking assez classique. Le petit plus est la physique des particules. La deuxième vidéo est bien plus bluffante. En détectant l'éclairage réel, ils arrivent à le reproduire dans la partie virtuelle de la scène.
On peut se dire que développer un jeu utilisant la PS camera est assez limitant vu que c'est un accessoire mais c'est faux. La PS camera se vend très bien. Durant la GDC, Sony a expliqué qu'ils avaient sous-estimé la demande et qu'ils avaient vendu 900 000 caméras, soit 15% du parc de PS4. La raison est simple : en combinant Twitch et l'appli gratuite Playroom, les gens peuvent streamer en direct leur salon. De plus, la PS camera va être obligatoire pour le projet Morpheus (pour le suivi de la position de la tête).