Cerebras vient de faire une percée majeure dans le domaine de l’intelligence artificielle. Un unique appareil CS-2 possède désormais une capacité de générer des modèles ayant jusqu’à 20 milliards de paramètres.
Le modèle IA complexe de Cerebras
La société Cerebras Systems vient de réaliser un nouveau record avec son modèle d’IA à l’aide d’un seul appareil. Il s’agit du plus important modèle d’IA NLP (Natural Language Processing) existant dans le monde. Avec une seule unité CS-2 alimenté par une puce WSE-2, la compagnie peut désormais entrainer des modèles IA comprenant jusqu’à 20 milliards de paramètres. Tout ceci est possible grâce aux optimisations apportées sur le logiciel de la société.
La compagnie évoque la résolution d’un des problèmes majeurs rencontrés dans le domaine. Les ingénieurs doivent partitionner les modèles IA à grandes échelles sur des milliers de GPU. Ce nouveau record permet de réduire le temps nécessaire pour développer et entrainer les nouveaux modèles d’intelligence artificielle.
Cerebras a réussi cette prouesse sans avoir à évoluer la charge de travail sur de nombreux accélérateurs. Cette réussite va donc profiter non seulement à la société, mais aussi dans le domaine de l’IA.
Le fabricant du plus gros processeur au monde
Cerebras est connu comme le fabricant du plus grand processeur au monde avec son WSE-2 (Wafer Scale Engine). Dans le domaine du traitement du langage naturel (NLP), la performance du modèle IA correspond de façon linéaire au nombre de paramètres. Le record de 20 milliards de paramètres signifie donc une grande avancée.
Comme nous venons de le mentionner, le développement d’une IA nécessite la répartition d’un modèle sur beaucoup de GPU ou accélérateurs. Il existe deux raisons pour cela. Soit le nombre de paramètres à gérer dépasse la capacité de la mémoire, soit la puissance de calcul est insuffisante pour gérer les charges de travail. Il s’agit d’un problème frustrant pour les chercheurs.
La possibilité d’entrainer les modèles d’IA à grande échelle sur un seul appareil CS-2 permet donc de supprimer cette contrainte. Le résultat est le gain de temps dans le développement des modèles IA et d’améliorer l’accès de nouveaux acteurs dans le domaine.
Dan Olds, Directeur de la recherche, évoque un moyen de rendre des modèles linguistiques de grandes tailles accessibles à la portée de beaucoup de monde. Les organisations à petit budget auront donc une chance d’entrer dans la sous-discipline NLP.
Conclusion
Cerebras est déjà connu comme ayant réalisé le plus grand et le plus puissant processeur au monde avec son WSE-2. Cette même technologie a permis à la société de franchir un grand pas dans le domaine du modèle IA.