BitNet b1.58 : inférence ternaire accélérée

Bitnet marque une rupture architecturale. On passe du FP16 classique à des poids ternaires

contrats à moins un, zéro et un. Mathématiquement, cela représente

que 0,58 bit par paramètre, permettant de faire tourner un modèle de 100 milliards

de paramètres sur un seul CPU, avec une consommation énergétique réduite de plus de 70%.

Côté implémentation, Microsoft introduit des kernels GPU W2A8, donc c'est des poids

de 2 bits d'activation en 8 bits. Il exploite l'instruction matérielle DP4A et une permutation

mémoire par bloc pour optimiser le décodage. Résultat, une accélération

jusqu'à 3,6 par rapport au BF16 sur A100, prouvant que la quantification extrême