ACTU
Yo dawg I heard you like computers so we put computers in your computer
par CBL,
email @CBL_Factor
Ces temps-ci, quand un communiqué de presse parle de techno à base d'IA, ça pue le mensonge marketing à plein nez. Du coup quand Samsung annonce qu'ils ont développé la première "mémoire avec processeur de traitement d'IA" , on est perplexe. Mais en lisant le communiqué de presse ainsi que l'article de Tom's Hardware, on se dit que Samsung tient quelque chose d'énorme.
L'idée est d'incorporer au sein de modules mémoire un processeur de calcul dédié à l'IA, une sorte de CPU au sein de la RAM (Samsung parle de Programmable Computing Unit). Les modules en question auraient donc moitié moins de RAM mais pourraient faire une partie des calculs directement en RAM sans intervention de l'unité de calcul principal (CPU ou GPU). La solution de Samsung ne nécessiterait de modifier ni les logiciels ni le matos mis à part d'acheter les modules de RAM en question et il est question d'1,2 TFLOPS de puissance. Samsung a choisi de modifier la HBM2, un type de RAM hyper rapide qu'on trouve par exemple dans les Radeon VII et qui est intégré au sein même du GPU au lieu de sur les côtés comme la GDDR6. Le résultat s'appelle la HBM-PIM (High Bandwidth Memory - Processing In Memory).
Le but est de booster les performances mais aussi de réduire la consommation électrique. En effet, aussi rapide que soit la RAM, lire et écrire dans la RAM depuis le CPU ou le GPU prend toujours un peu de temps et d'énergie. Samsung parle d'une réduction de la consommation électrique de 70%. Les accès RAM ne sont pas exactement énergivores quand on parle d'un ordinateur unique mais à l'échelle d'une ferme de calcul les gains pourraient être gigantesques. Même si Samsung parle d'applications mobiles, le premier marché visé est bien celui des serveurs.
Et il ne s'agit pas juste d'un idée en l'air. Des constructeurs de cartes dédiées au traitement d'IA (probablement Nvidia, le V100 utilisant déjà de la HBM2) sont en train de tester la solution et devraient la valider dans les prochains mois. Donc les cartes en question pourraient sortir fin 2021, début 2022.
Linus avait une réflexion intéressante dans le dernier WAN Show. Petit à petit, les composants d'un ordinateur sont en train de devenir des ordinateurs à savoir le combo CPU pour exécuter du code et RAM pour le stocker. Nvidia a ouvert le feu en permettant de faire des calculs non graphiques au sein des GPUs, ces derniers ayant leur propre RAM.
Récemment, les SSDs sont devenus des vrais petits ordinateurs.Les SSDs modernes comprennent de la DDR4 (parfois plusieurs Go pour les modèles haut de gamme !) et des micro-controlleurs surpuissants. On parle de ARM Cortex R8 quad cores capables de faire tourner Linux. Sur le micro-controlleur d'un SSD. Les puces Apple T2 des MacBook x86 étaient des processeurs ARM qui faisaient tourner un OS à part servant principalement à gérer l'encryption des données.
En dehors de votre ordinateur, votre routeur WiFi est un petit ordinateur faisant tourner un OS sur une puce ARM accompagnée de RAM et de stockage. Et maintenant Samsung veut coller un ordinateur dans la RAM d'un GPU. Donc un ordinateur dans un ordinateur dans un ordinateur.
L'idée est d'incorporer au sein de modules mémoire un processeur de calcul dédié à l'IA, une sorte de CPU au sein de la RAM (Samsung parle de Programmable Computing Unit). Les modules en question auraient donc moitié moins de RAM mais pourraient faire une partie des calculs directement en RAM sans intervention de l'unité de calcul principal (CPU ou GPU). La solution de Samsung ne nécessiterait de modifier ni les logiciels ni le matos mis à part d'acheter les modules de RAM en question et il est question d'1,2 TFLOPS de puissance. Samsung a choisi de modifier la HBM2, un type de RAM hyper rapide qu'on trouve par exemple dans les Radeon VII et qui est intégré au sein même du GPU au lieu de sur les côtés comme la GDDR6. Le résultat s'appelle la HBM-PIM (High Bandwidth Memory - Processing In Memory).
Le but est de booster les performances mais aussi de réduire la consommation électrique. En effet, aussi rapide que soit la RAM, lire et écrire dans la RAM depuis le CPU ou le GPU prend toujours un peu de temps et d'énergie. Samsung parle d'une réduction de la consommation électrique de 70%. Les accès RAM ne sont pas exactement énergivores quand on parle d'un ordinateur unique mais à l'échelle d'une ferme de calcul les gains pourraient être gigantesques. Même si Samsung parle d'applications mobiles, le premier marché visé est bien celui des serveurs.
Et il ne s'agit pas juste d'un idée en l'air. Des constructeurs de cartes dédiées au traitement d'IA (probablement Nvidia, le V100 utilisant déjà de la HBM2) sont en train de tester la solution et devraient la valider dans les prochains mois. Donc les cartes en question pourraient sortir fin 2021, début 2022.
Linus avait une réflexion intéressante dans le dernier WAN Show. Petit à petit, les composants d'un ordinateur sont en train de devenir des ordinateurs à savoir le combo CPU pour exécuter du code et RAM pour le stocker. Nvidia a ouvert le feu en permettant de faire des calculs non graphiques au sein des GPUs, ces derniers ayant leur propre RAM.
Récemment, les SSDs sont devenus des vrais petits ordinateurs.Les SSDs modernes comprennent de la DDR4 (parfois plusieurs Go pour les modèles haut de gamme !) et des micro-controlleurs surpuissants. On parle de ARM Cortex R8 quad cores capables de faire tourner Linux. Sur le micro-controlleur d'un SSD. Les puces Apple T2 des MacBook x86 étaient des processeurs ARM qui faisaient tourner un OS à part servant principalement à gérer l'encryption des données.
En dehors de votre ordinateur, votre routeur WiFi est un petit ordinateur faisant tourner un OS sur une puce ARM accompagnée de RAM et de stockage. Et maintenant Samsung veut coller un ordinateur dans la RAM d'un GPU. Donc un ordinateur dans un ordinateur dans un ordinateur.