2018 pourrait être l'année où les États-Unis reprendront l'avantage sur la Chine avec le plus puissant supercalculateur au monde. Ce pourrait être l'année du début de la guerre de l'IA contre le pouvoir informatique.

2017 est l'année où l'intelligence artificielle a commencé à créer l'intelligence artificielle (IA). C'est l'année où la Chine a dépassé les États-Unis en termes de nombre total de superordinateurs classés et de performances informatiques globales.

Tous ces événements façonnent profondément notre avenir… et notre présent. Ils sont en train de rappeler comment les guerres seront et seront déjà menées, tandis que la stratégie et, de fait, l'étendue de la sécurité nationale, seront considérablement étendues. Ils sont intimement liés. Comprendre pourquoi et comment est crucial de prévoir ce qui est susceptible de se produire et qui est déjà le cas, et comprendre comment l'émergence AI monde ressemblera.

Cet article et les suivants, à l'aide d'exemples et de cas concrets, expliqueront comment et pourquoi l'IA et la puissance de calcul sont liés. Ils vont ainsi se concentrer sur le matériel et la puissance de calcul en tant que conducteur, la force et enjeu pour le développement de l'IA, dans l'apprentissage en profondeur (DL) AI-sous-champ. Auparavant, nous avions identifié la puissance informatique comme l'un des six moteurs qui ont non seulement contribué à l'expansion de l'IA, mais qui, en tant que tels, sont devenus des enjeux de la concurrence entre acteurs de la course à la puissance de l'IA (Helene Lavoix, «Intelligence artificielle - Forces, pilotes et enjeux » The Red (Team) Analysis Society26 mars 2018). Nous avons examiné en détail le premier pilote avec “Le Big Data, moteur de l'intelligence artificielle… mais pas dans le futur? ” (Hélène Lavoix, The Red (Team) Analysis Society16 avril 2018)

Nous commencerons ici par les derniers cas - et les plus frappants - illustrant la relation étroite qui existe entre le matériel et sa puissance de calcul et le développement exponentiel actuel de l’IA, ou plus exactement l’extension de la DL. La puissance de calcul et AI-DL évoluent en même temps. Nous présentons deux cas de création par AI-DL d'architectures de réseaux de neurones et DL ainsi: le projet AutoML de Google, ainsi que son impact, par exemple en termes d'applications de vision par ordinateur, et le laboratoire national de recherche américain Oak Ridge (ORNL) MENNDL (Multinode Evolutionary Neural). Networks for Deep Learning), et les mettre en relation avec la puissance de calcul nécessaire. Nous commençons donc à identifier les éléments cruciaux de la puissance de calcul nécessaire pour AI-DL, soulignons le potentiel des algorithmes évolutifs et soulignons que nous pouvons maintenant nous rapprocher de l’intelligence générale artificielle.

Nous allons creuser plus profondément dans cette coévolution avec les prochains articles, en comprenant mieux comment et pourquoi la DL et la puissance de calcul / le matériel sont liés. Nous examinerons plus en détail l'impact de cette relation et son coévolution en termes de matériel. Nous décrirons ainsi l’état d’évolution rapide de la situation et identifierons d’autres domaines à surveiller. En attendant, autant que possible, nous expliquerons le jargon technique de TFLOPS à CPU, NPU ou TPU, qui n’est pas immédiatement compréhensible pour les scientifiques et les spécialistes n’ayant pas recours à l’IA ni à l’informatique, et qui doit maintenant être compris par les utilisateurs. analystes politiques et géopolitiques et personnes concernées. Cette analyse approfondie nous permettra de mieux comprendre la dynamique correspondante émergeant du nouveau monde de l'IA en cours de création.

En effet, nous expliquerons comment l'interdiction américaine de sept ans visant la société de télécommunications chinoise ZTE et d'autres actions américaines connexes doit être interprétée comme une avancée stratégique dans la course à la puissance de l'IA - à savoir la course au statut de puissance relative dans le nouveau la répartition internationale du pouvoir en gestation - et ressemble de plus en plus à la première bataille d'une guerre pour la suprématie de l'IA, comme le suggèrent les mesures de durcissement prises par les États-Unis contre le chinois Huawei (par exemple, Li Tao, Celia Chen, Bien Perez, "ZTE est peut-être trop gros pour échouer, car il reste la fin de l'écart dans l'ambition technologique mondiale de la Chine“, SCMP21 avril 2018; Koh Gui Qing, “Exclusif - Les États-Unis envisagent de resserrer leur emprise sur les liens de la Chine avec les entreprises américaines“, Reuters, 27 Avril 2018).

Comme nous le prévoyions, AI a déjà commencé à redéfinir la géopolitique et le monde international (voir «Intelligence artificielle et apprentissage en profondeur - Le nouveau monde de l'IA en devenir » et "Quand l'intelligence artificielle va actionner la géopolitique - Présenter l'IA »).

Commencer à envisager l’intelligence artificielle: l’AutoML de Google, naissance de NASNet et d’AmoebaNets

 

Figure p.16 de Le et Zoph, RECHERCHE D'ARCHITECTURE NEURONALE AVEC RENFORCEMENT DE L'APPRENTISSAGE, arXiv: 1611.01578v2 [cs.LG] 15 Feb 2017

En mai 2017, Google Brain Team - l'un des laboratoires de recherche de Google - a annoncé qu'il avait lancé "une approche" appelée AutoML, qui visait à "explorer les moyens d'automatiser la conception de modèles d'apprentissage automatique", en utilisant notamment des algorithmes évolutifs et des algorithmes d'apprentissage par renforcement (RL), c et donc AI (Quoc Le & Barret Zoph, "Utilisation de Machine Learning pour explorer l'architecture de réseau neuronal“, Blog de recherche Google17 mai 2017). Ils ont d'abord appliqué avec succès l'approche de la reconnaissance d'image et de la modélisation du langage, mais avec de petits ensembles de données: «Notre approche peut concevoir des modèles offrant une précision équivalente à celle de modèles ultramodernes conçus par des experts en apprentissage automatique (y compris certains de notre propre équipe!). »(Ibid.) Ensuite, ils ont testé AutoML pour les grands ensembles de données tels que » ImageNet classification d'image et détection d'objets COCO »(Barret Zoph, Vijay Vasudevan, Jonathon Shlens et Le Quôc, «AutoML pour la classification d'images à grande échelle et la détection d'objets, Blog de recherche Google2 nov. 2017). En conséquence, NASNet est né, dans différentes tailles, qui, pour la reconnaissance d’image, obtenaient une précision supérieure et des coûts de calcul inférieurs à ceux des autres architectures (voir la figure de Google à droite). Par exemple, «L’important réseau NASNet permet d’obtenir une précision de pointe tout en divisant par deux le coût de calcul du meilleur résultat signalé sur arxiv.org (SENet, par exemple)». [5] Les résultats pour la détection d'objets ont également été mieux que pour d'autres architectures (Ibid.).

Photo de Zoph et al., Learning Transférable…

Comme l'ont souligné les scientifiques de Google, NASNet pourrait donc considérablement améliorer les applications de vision par ordinateur (Ibid.). Compte tenu de l’importance de la vision par ordinateur pour la robotique en général, pour le système LAWS (Lethal Autonomous Weapon System) en particulier, il peut être crucial de pouvoir utiliser les types d’architecture NASNet et NASNet, et même de créer de meilleurs programmes. Google «NASNet en source ouverte pour l'inférence sur la classification des images et la détection d'objets» (Ibid.), Ce qui devrait limiter - à un point compte tenu de la nécessité d'utiliser également la plate-forme de Google tensorflow la machine cadre d'apprentissage, ainsi que la guerre de départ entre les Etats-Unis et la Chine sur AI (à paraître) - l'utilisation possible de NASNet par un acteur et pas un autre. Cet exemple montre que le fait de pouvoir développer et gérer une "IA qui crée une IA", qui sont meilleures que des architectures d'IA conçues par l'homme, peut s'avérer crucial pour la course au pouvoir de l'IA commencée, y compris en termes de guerre future possible, ainsi que pour l'IA-gouvernance.

Un GPU est une unité de traitement graphique. Il a été lancé en tant que tel par NVIDIA en 1999 et est considéré comme le composant essentiel qui a permis le décollage de DL.

Une CPU est une unité centrale de traitement. C'était la norme notamment avant l'avènement du GPU et l'expansion de DL-AI.

Les deux microprocesseurs sont construits avec des architectures différentes avec des objectifs et des fonctions différents, par exemple Kevin Krewell, «Quelle est la différence entre un processeur et un GPU?» Blog NVIDIA, 2009.

Si les résultants AI-architectures ont « moindre coût de calcul » que ceux conçus de l'homme, ce qui est la puissance de calcul nécessaire à la création d'AI? Selon Google scientifiques, « la recherche initiale de l'architecture [utilisée pour AutoML] utilisé 800 processeurs graphiques pour 28 jours en résultant 22.400 GPU heures. La méthode décrite dans cet article [NASNet] utilise 500 GPU sur 4 jours, soit 2 000 heures GPU. L'ancien effort utilisé NVIDIA K40 GPU, alors que les efforts actuels ont été utilisés plus rapidement NVIDIA P100s. Sans compter que nous utilisons du matériel plus rapide, nous estimons que la procédure actuelle est environ 7 × plus efficace (Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, “Apprentissage d'architectures transférables pour la reconnaissance d'images évolutive“, Soumis le 21 juil. 2017 (v1), dernière mise à jour le 11 avril 2018 (cette version, v4), arXiv: 1707.07012v4 [cs.CV] ).

Image extraite de la figure 3, Real et al., Regularized Evolution…

Google Brain Team poursuit ses efforts AutoML pour trouver le (s) meilleur (s) moyen (s) de développer des IA qui en créent. Une expérience visant à comparer les avantages relatifs de l'utilisation de RL et de l'évolution pour la recherche d'architecture afin de découvrir automatiquement les classificateurs d'images est née des algorithmes évolutifs AmoebaNets: “C’est la première fois que des algorithmes évolutifs produisent des classificateurs d’images de pointe »(Esteban Real, Alok Aggarwal, Yanping Huang, Quoc V Le,«Évolution régularisée pour la recherche d'architecture de classificateur d'images“, Soumis le 5 février 2018 (v1), dernière révision le 1er mars 2018 (cette version, v3) arXiv: 1802.01548v3 [cs.NE]).

Un TPU est une unité de traitement du tenseur, le circuit intégré à application spécifique créé par Google à des fins d'intelligence artificielle et lancé en mai 2016.

Cependant, comme le soulignent les scientifiques, «toutes ces expériences ont nécessité beaucoup de calculs - nous avons utilisé des centaines de GPU / TPU pendant des jours» (Esteban Real, “Utilisation d'AutoML évolutif pour découvrir les architectures de réseaux neuronaux“, Blog de recherche Google15 mars 2018)L'expérience d'évolution dédiée «a fonctionné sur 900 puces TPUv2 pendant 5 jours et a entraîné 27 000 modèles au total», tandis que chaque expérience à grande échelle «fonctionnait sur 450 GPU pendant environ 7 jours» (Real et al, Ibid., P. 12 et 3).

Par conséquent, la puissance de calcul est cruciale dans cette nouvelle recherche de systèmes DL créant d’autres systèmes DL ou d’AI créant des IA. Si le résultat obtenu peut alors réduire le coût de calcul, c'est uniquement parce qu'au départ, un matériel puissant était disponible. Cependant, si grande puissance de calcul de Google dédié à AutoML, ce n'est pas - encore? - à égalité avec ce qui peut arriver avec les superordinateurs.

Fast AI-Creator… mais seulement avec un supercalculateur: MENNDL - Réseaux de neurones évolutifs multinodes pour un apprentissage en profondeur

Image de ORNL pour MENNDL

Le 28 novembre 2017, des scientifiques du laboratoire ORNL (Oak Ridge National Laboratory) du département de l'Énergie des États-Unis ont annoncé qu'ils avaient développé un algorithme évolutif «capable de générer des réseaux neuronaux personnalisés», c'est-à-dire des systèmes d'intelligence artificielle (AI) dans sa structure Deep Learning - « égaler ou dépasser les performances des systèmes d’intelligence artificielle artisanaux "pour l’application de l’IA aux problèmes scientifiques (Jonathan Hines pour ORNL,"Mise à l'échelle de l'apprentissage en profondeur pour la science“, ORNL, 28 novembre 2017). Ces nouveaux systèmes d'IA sont produits en quelques heures et non en quelques mois comme si les êtres humains ont été les rend (Ibid.), Ou des jours et des semaines que ce que Google a réalisé.

FLOPS signifie Opérations en virgule flottante par seconde.
C'est une mesure des performances de l'ordinateur.

A teraFLOPS (TFLOPS) représente un million million (1012) opérations en virgule flottante par seconde.

Un petaFLOPS (PFLOPS) représente 1000 teraFLOPS (TFLOPS).

Cependant, cet exploit n’est possible que parce que MENNDL (Réseaux de neurones évolutifs multinodes pour un apprentissage en profondeur) - l’algorithme évolutif «conçu pour évaluer, faire évoluer et optimiser les réseaux de neurones pour des ensembles de données uniques» - est utilisé sur l’ordinateur Titan de ORNL, un Cray XK7. système. Ce supercalculateur était le plus puissant du monde en 2012 (Liste Top500, novembre 2017). En novembre 2017, il se classait «seulement» au cinquième rang, mais restait le plus grand ordinateur des États-Unis (ibid.): «Ses 17,59 pétaflops sont principalement le résultat de ses accélérateurs GPU NVIDIA K20x» (ibid.)

Désormais, l'ORNL devrait se doter d'un nouveau supercalculateur, qui devrait être en ligne fin 2018, du Summit, un «supercalculateur IBM AC922 à 200 pétaflops».  (Katie Elyce Jones “Faces of Summit: préparer le lancement », ORNL, 1er mai 2018). "Summit offrira plus de cinq fois [cinq à dix fois] les performances informatiques des 18 688 nœuds de Titan, en utilisant seulement environ 4 600 nœuds à son arrivée en 2018." (Sommet et la FAQ du sommet). Chaque nœud Summit consiste notamment «en deux processeurs IBM Power9, six GPU NVIDIA V100» (FAQ du sommet). Cela signifie que nous avons ici la puissance de calcul de 9200 CPU IBM Power9 et de 27600 GPU NVIDIA V100. À titre de comparaison, Titan dispose de 299 008 cœurs de processeur Opteron et de 18 688 GPU K20X Keplers, soit 16 CPU et 1 GPU par nœud (Titan, ORNL).

En comparaison, la Chine et le monde, l’ordinateur le plus puissant du monde, “Sunway TaihuLight, un système développé par le Centre national chinois de recherche en informatique parallèle (NRCPC) et installé au Centre national de superinformatique de Wuxi »offre une performance de 93,01 pétaflops (Liste Top500, novembre 2017). Il utilise 10,649,600 CPU Shenwei-64 Cores (Jack Dongarra, «Rapport sur le système Sunway TaihuLight», www.netlib.org, Juin 2016: 14).

En termes d’énergie, «Titan a démontré une consommation instantanée moyenne d’un peu moins de 5 millions de watts (5 mégawatts ou 5 MW), soit une moyenne de 3,6 millions de kilowattheures par mois (3,6 MW / h / m)» (Jeff Gary, “Titan s'avère plus économe en énergie que son prédécesseur“, ORNL20 août 2014). La consommation d'énergie maximale attendue pour Summit est de 15 MW. Sunway TaihuLight consommerait 15,37 MW d’énergie (liste Top500, Sunway TaihuLight). L’efficacité énergétique de Titan est de 2 143 GFlops / watts et se classe 105, tandis que l’efficacité énergétique de Sunwai TaihuLight est de 6 051 GFlops / watts et se classe 20 (le Green500, Novembre 2017).

L'informatique de Titan se rapproche de l'exascale, soit un million de milliards de calculs par seconde (Titan), alors que Summit devrait offrir «une performance au niveau exascale pour les problèmes d’apprentissage approfondis - l’équivalent d’un milliard de milliards de calculs par seconde», améliorant ainsi considérablement les capacités du MENNDL, tandis que de nouvelles approches de l’IA deviendront possibles (Hines, Ibid.).

La nécessité et l'utilisation d'une immense puissance de calcul liée à la nouvelle quête réussie pour la création de l'IA est AIs encore plus clair quand on regarde l'ORNL MENNDL. Pendant ce temps, les possibilités que la puissance de calcul et la création AIs sont immenses ensemble donnent.

A ce stade, on se demande comment la Chine notamment, mais aussi d'autres pays qui ont manifesté leur intention de promouvoir fortement AI en général, AI-gouvernance en particulier, comme les Émirats arabes unis (voir Stratégie 2031 des Émirats Arabes Unis - vidéo) se débrouillent en termes d'IA capables de créer des IA. Les petits pays peuvent-ils concurrencer les États-Unis et la Chine en termes de puissance de calcul? Qu'est-ce que cela signifie pour leur stratégie d'IA?

Avec ces deux cas, nous avons identifié la nécessité d’ajouter un autre type d’AD, des algorithmes évolutifs, aux deux sur lesquels nous nous sommes concentrés jusqu’à présent, à savoir l’apprentissage supervisé et l’apprentissage par renforcement. Nous avons également commencé à délimiter des éléments fondamentaux de la puissance de calcul tels que les types d'unités de traitement, le temps, le nombre de calculs par seconde, et la consommation d'énergie. Nous détaillerons davantage notre compréhension de ceux-ci en relation avec l'IA ensuite.

Enfin, compte tenu de ces nouveaux systèmes d’IA, nous devons souligner que leur activité même, c’est-à-dire la création, est l’un des éléments que les êtres humains redoutent de l’IA (voir plus loin). Présentation de l'IA). En effet, la puissance créatrice est généralement investi en Dieu seul (s) et des êtres vivants. Cela peut aussi être vu comme un moyen de reproduction pour l'IA. Cette crainte que nous avons identifiée était censée être principalement liée à l'Intelligence Générale Artificielle (AGI) - un objectif probablement éloigné selon les scientifiques - et non à l'IA étroite, dont DL fait partie (Ibid.). Cependant, compte tenu de la nouvelle puissance créatrice de DL qui est déchaînée, on peut maintenant se demander si nous ne sommes pas un peu plus de l'IAG. À son tour, cela signifierait également que la puissance de calcul (ainsi que, bien entendu, des algorithmes comme les deux co-évoluent) n'est pas seulement un pilote pour la DL et l'IA étroite, mais également pour l'AGI.

A propos de l'auteur: Dr Hélène Lavoix, PhD Lond (Relations internationales), est le directeur de la société d'analyse rouge (équipe). Elle est spécialisée dans la prospective stratégique et l'alerte en matière de sécurité nationale et internationale.

Image sélectionnée: Graphique concernant Summit, le nouveau superordinateur du laboratoire national Oak Ridge du ministère de l’Énergie (DOE). Image recadrée et fusionnée avec une autre, De Laboratoire national d'Oak Ridge FlickrAttribution 2.0 Générique (CC BY 2.0).

A propos de l'auteur: Dr Helene Lavoix (MSc PhD Lond)

Dr Hélène Lavoix, PhD Lond (Relations internationales), est le directeur de The Red (Team) Analysis Society. Elle est spécialisée dans la prospective stratégique et l'alerte en matière de sécurité nationale et internationale. Elle se concentre actuellement sur l'intelligence artificielle, la science quantique et la sécurité. Elle enseigne au niveau Master à SciencesPo-PSIA.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les spams. En savoir plus sur la façon dont les données de vos commentaires sont utilisées.

FR
EN FR