BitNet b1.58 : LLM ternaires ultra efficaces

Bitnet marque une rupture architecturale. On passe du FP16 classique à des poids ternaires

contrats à moins un, zéro et un. Mathématiquement, cela représente

que zéro virgule cinquante-huit bits par paramètre, permettant de faire tourner un modèle

de cent milliards de paramètres sur un seul CPU, avec une consommation énergétique réduite

de plus de soixante-dix pourcents. Côté implémentation, Microsoft introduit des kernels GPU

W2A8, donc c'est des poids de deux bits activation huit bits. Il exploite l'instruction

matérielle DP4A et une permutation mémoire par bloc pour optimiser le décodage.

Résultat, une accélération jusqu'à trois virgule six par rapport au BF16 sur A100,