Bonsai 27B : un LLM 1-bit fait tourner un modèle 27B sur smartphone

Le 14 juillet 2026, la startup américaine PrismML a annoncé Bonsai 27B, un modèle de langage compressé en 1-bit et en ternaire capable de faire tourner un modèle de la classe des 27 milliards de paramètres directement sur un iPhone. La promesse : le raisonnement multi-étapes, l'appel d'outils structuré et l'usage d'agents, jusque-là réservés au cloud ou à un GPU costaud, tiennent désormais dans la poche.

L'annonce mérite qu'on s'y arrête, pas pour la prouesse en soi, mais pour comprendre précisément ce qui se joue : jusqu'où la compression extrême dégrade la qualité, et à partir de quel usage cette dégradation devient gênante pour un déploiement professionnel.

Bonsai 27B en deux phrases, pour ceux qui découvrent

Bonsai 27B est bâti sur Qwen3.6 27B. PrismML applique sa méthode de compression maison pour réduire chaque poids du réseau à un ou deux bits, contre 16 bits en pleine précision. Un modèle de 27 milliards de paramètres pèse normalement environ 54 Go en 16 bits, et encore 18 Go avec un bon export en 4 bits, la technique de quantification la plus répandue aujourd'hui. Aucun des deux formats ne tient sur un smartphone, ni même sur la plupart des ordinateurs portables.

Deux variantes, deux usages assumés

PrismML publie deux versions du modèle, avec un compromis clairement assumé :

• Ternary Bonsai 27B : poids ternaires (valeurs -1, 0 et +1), soit 1,71 bit effectif par poids. Poids total : 5,9 Go. Cette version cible l'ordinateur portable, avec le raisonnement, l'appel d'outils et les capacités agentiques complètes.
• 1-bit Bonsai 27B : poids binaires (valeurs -1 et +1), soit 1,125 bit effectif par poids. Poids total : 3,9 Go. C'est cette version qui tient dans le budget mémoire d'un iPhone 17 Pro.

Les deux variantes sont multimodales (la tour de vision reste en 4 bits pour ne pas trop dégrader la lecture d'images), gèrent un contexte de 262 000 tokens et supportent le décodage spéculatif. Tout est publié sous licence Apache 2.0.

Ce que les benchmarks racontent vraiment

PrismML a testé les deux variantes sur une suite de 15 benchmarks (connaissances, raisonnement, mathématiques, code, suivi d'instructions, appel d'outils, vision), en mode « thinking » où le modèle déploie tout son raisonnement. Résultat global : la version ternaire conserve 95 % du score de Qwen3.6 27B en pleine précision, la version 1-bit en conserve 90 %.

Mais la moyenne cache une réalité plus nuancée, et c'est justement celle qui compte pour un usage professionnel :

Les mathématiques et le code résistent bien à la compression : entre 2 et 7 points d'écart selon la variante. L'appel d'outils et le suivi d'instructions, en revanche, encaissent le plus gros de la perte. La version 1-bit tombe à 66,0 sur l'agentique et l'appel d'outils, contre 80,0 pour le modèle en pleine précision, soit 14 points d'écart. Or c'est précisément la capacité qui détermine si un agent choisit le bon outil, au bon moment, avec les bons paramètres, tour après tour dans une boucle de cent étapes. Un tel écart peut se traduire, en usage réel, par des boucles agentiques qui échouent plus souvent ou qui exigent une supervision humaine plus fréquente.

PrismML avance aussi une mesure de « densité d'intelligence » (score moyen divisé par la taille en Go) : 0,53 par Go pour la version 1-bit, soit plus de 10 fois la densité du modèle en pleine précision, et environ 2,7 fois la meilleure alternative low-bit disponible selon leurs propres mesures.

Pourquoi l'exécution locale change l'équation économique

L'argument de fond de PrismML dépasse la prouesse technique. Les usages IA les plus recherchés aujourd'hui ne sont plus une question-réponse isolée, mais un travail soutenu : un agent qui pilote de vrais outils, un workflow qui tourne sans supervision avant de rendre un résultat, une recherche qui synthétise des dizaines de documents. Ce type de charge fait des centaines d'appels au modèle, chacun transportant du contexte et produisant une sortie structurée qui alimente l'appel suivant.

Dans ce scénario, une exécution 100 % cloud impose des contraintes structurelles : chaque étape est une requête réseau, le coût par token s'accumule à chaque itération, et chaque plan, chaque appel d'outil, chaque résultat intermédiaire transite par le réseau, y compris les fichiers privés, l'écran ou les données de l'utilisateur. Faire tourner le modèle en local change la donne : le coût marginal d'une boucle de cent étapes tombe à zéro, et les données ne quittent jamais la machine.

PrismML évoque aussi une architecture hybride : router les tâches non critiques et sensibles vers un modèle local, et réserver les modèles cloud de pointe aux étapes les plus difficiles. Pour une PME française soucieuse de maîtriser son budget IA et sa conformité RGPD, cette piste mérite d'être suivie de près, même si elle reste, à ce stade, à construire au cas par cas.

Vitesse, contrainte mémoire, et accès

Sur une RTX 5090, PrismML annonce jusqu'à 163 tokens/seconde en 1-bit et 134 tokens/seconde en ternaire. Sur un Mac M5 Max, jusqu'à 87 tokens/seconde en 1-bit et 58 tokens/seconde en ternaire.

Le vrai obstacle n'est pas le stockage mais la mémoire réellement disponible pour l'application : un iPhone doté de 12 Go de RAM n'en laisse qu'environ 6 Go à une app, et ce budget doit aussi couvrir le cache KV et les activations du modèle en cours d'inférence, pas seulement ses poids. À environ 4 Go, la version 1-bit de Bonsai 27B est, selon PrismML, la première de cette classe de capacité à passer sous cette barre avec de la marge. PrismML affirme par ailleurs que l'export en 4 bits le plus agressif du même modèle de base obtient un score nettement inférieur au 1-bit Bonsai 27B, tout en occupant 2,5 fois plus de mémoire.

Les poids sont disponibles dès aujourd'hui sous licence Apache 2.0, avec un déploiement natif sur Mac, iPhone et iPad via MLX, et sur GPU NVIDIA via CUDA. PrismML propose aussi une API de développement en accès anticipé, gratuite et limitée dans le temps, pour tester le modèle sans installation locale.

Notre lecture chez CZSyn

Le vrai signal de cette annonce n'est pas « un modèle de plus tourne sur téléphone », mais le fait que la compression extrême cible désormais un usage précis : les agents. Et sur cet usage précis, l'écart de qualité entre le modèle en pleine précision et sa version la plus compressée n'est pas anecdotique. Une perte de 14 points sur l'appel d'outils, ça se voit concrètement : un agent qui appelle la mauvaise fonction, ou qui boucle sur une tâche qu'il ne sait plus terminer proprement.

Pour un usage professionnel, notre recommandation est simple. La version ternaire (95 % de rétention, 5,9 Go, taillée pour un ordinateur portable ou un mini-PC dédié) est aujourd'hui la plus défendable pour des tâches agentiques sérieuses en local. La version 1-bit, sur smartphone, nous semble mieux adaptée à des usages ponctuels, à de la lecture de documents privés, ou à des tâches où une supervision humaine reste de toute façon prévue. Ce n'est pas un défaut du modèle : c'est le prix, encore réel en 2026, de faire tenir 27 milliards de paramètres dans la poche.

Ce que cette annonce confirme surtout, c'est que l'inférence locale devient une option crédible pour les entreprises qui veulent garder leurs données sur leurs propres machines, sans renoncer entièrement à l'agentique. Reste à l'intégrer proprement dans un vrai produit, avec les bons garde-fous là où la qualité baisse.

Sources primaires

• PrismML, « Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone », 14 juillet 2026.
• Site officiel PrismML.