Les chercheurs de Microsoft affirment avoir développé le plus grand modèle d'IA 1-bit à ce jour, également appelé “bitnet”. Appelé BitNet b1.58 2B4T, il est disponible en open source sous une licence MIT et peut fonctionner sur des processeurs, y compris le M2 d'Apple.
Les bitnets sont essentiellement des modèles compressés conçus pour fonctionner sur du matériel léger. Dans les modèles standard, les poids, les valeurs qui définissent la structure interne d'un modèle, sont souvent quantifiés afin que les modèles fonctionnent bien sur une large gamme de machines. La quantification des poids réduit le nombre de bits - les plus petites unités qu'un ordinateur peut traiter - nécessaires pour représenter ces poids, permettant aux modèles de s'exécuter sur des puces avec moins de mémoire, plus rapidement.
Les Bitnets quantifient les poids en seulement trois valeurs : -1, 0 et 1. En théorie, cela les rend bien plus efficaces en termes de mémoire et de calcul que la plupart des modèles actuels.
Les chercheurs de Microsoft affirment que BitNet b1.58 2B4T est le premier bitnet avec 2 milliards de paramètres, les “paramètres” étant largement synonymes de “poids”. Entraîné sur un ensemble de données de 4 billions de jetons - l'équivalent d'environ 33 millions de livres, selon une estimation - BitNet b1.58 2B4T surpasse les modèles traditionnels de tailles similaires, affirment les chercheurs.
BitNet b1.58 2B4T ne laisse pas ses rivaux des modèles à 2 milliards de paramètres loin derrière, mais il semble tenir bon. Selon les tests des chercheurs, le modèle surpasse le Llama 3.2 1B de Meta, le Gemma 3 1B de Google et le Qwen 2.5 1.5B d'Alibaba sur des benchmarks, y compris GSM8K (une collection de problèmes mathématiques de niveau primaire) et PIQA (qui teste les compétences de raisonnement commun du sens physique).
Plus impressionnant encore, BitNet b1.58 2B4T est plus rapide que d'autres modèles de sa taille - dans certains cas, deux fois plus rapide - tout en utilisant une fraction de la mémoire.
Il y a cependant un inconvénient.
Pour obtenir cette performance, il faut utiliser le framework personnalisé de Microsoft, bitnet.cpp, qui ne fonctionne pour l'instant qu'avec certains matériels. Absents de la liste des puces prises en charge se trouvent les GPU, qui dominent le paysage de l'infrastructure IA.
Tout cela pour dire que les bitnets peuvent être prometteurs, en particulier pour les appareils contraints en ressources. Mais la compatibilité est - et restera probablement - un gros point de friction.
