Samsung publie LittleBit : LLM compressés à 0,1 bit/poids

Samsung Research a publié sur GitHub le code officiel de LittleBit (NeurIPS 2025) et de sa suite LittleBit-2 (ICML 2026), deux méthodes qui poussent la quantification des LLM dans le régime sub-1-bit, jusqu'à 0,1 bit par poids.

Le principe est factoriser chaque matrice de poids dense en facteurs latents de rang faible, binariser ces facteurs, puis restaurer la magnitude par des échelles apprises. L'article arXiv 2506.13771, signé Banseok Lee, Dongkyu Kim, Youngcheon You et Youngmin Kim, résume le problème ainsi : « Deploying large language models (LLMs) often faces challenges from substantial memory and computational costs. Quantization offers a solution, yet performance degradation in the sub-1-bit regime remains particularly difficult. » Les auteurs revendiquent une réduction mémoire d'environ 31×, un Llama-2 13B ramené sous 0,9 Go, et un Llama-2 7B à 0,1 bpp qui surpasse la méthode leader à 0,7 bpp.

LittleBit-2, détaillé sur le blog Samsung Research, s'attaque à un défaut géométrique de l'initialisation SVD : « aligns latent factors with the binary hypercube » via Joint-ITQ, sans surcoût d'inférence. Sur Llama-3 8B à 1,0 bpp, LittleBit-2 affiche 11,53 de perplexité et 57,33 % de précision zero-shot, contre 13,09 pour OneBit et 16,30 pour LittleBit original. À 0,55 bpp, STBLLM s'effondre à 241,96 tandis que LittleBit-2 tient à 14,01. Pour Gemma-3 27B à 0,1 bpp, la perplexité est de 16,38.

Le dépôt supporte OPT, Llama 2/3, Phi-4, Qwen2.5, QwQ, Gemma 2, Gemma 3 et Qwen3. Il est publié sous licence CC BY-NC 4.0, qui exclut l'usage commercial. C'est notre 18ᵉ alerte liée à Samsung ces trois derniers mois, après l'engagement d'1 Md$ dans Helix le 29 septembre.