Mesures · Intel Arc Pro B60
Intel Arc Pro B60 pour l’inférence LLM : ce que font vraiment quatre cartes
Trois modèles MoE gardés en VRAM en même temps sur 4× Arc Pro B60 24 Go, servis par llama.cpp (SYCL) et vLLM-XPU. Mesuré les 10 et 11 septembre 2026 sur une machine qui porte aussi une charge de production : ces chiffres sont un plancher, pas un plafond. Chaque chiffre, script et panne de cette série est dans notre dépôt public. Le 11 novembre 2026, nous avons ajouté à cette page une mesure de laboratoire d’un seul modèle de 27B réparti sur les quatre cartes.
Mise à jour · 11 novembre 2026
Qwen3.8-27B réparti sur les quatre cartes
Une mesure de laboratoire sur la même machine : un modèle dense de 27B en INT4, en parallélisme de tenseurs sur les quatre B60, servi par vLLM 0.32 compilé pour XPU. Ce n’est pas la configuration livrée avec Anchor, qui reste celle des trois modèles résidents décrite plus bas.
| Requêtes simultanées | Avec décodage spéculatif : agrégé / par requête | Sans : agrégé / par requête |
|---|---|---|
| 1 | 93 / 93 tokens/s | 59 / 59 tokens/s |
| 8 | 316–330 / 45 | 314 / 43 |
| 16 | 404 / 30 | 396 / 30 |
| 32 | 480 / 17 | 563 / 20 |
| 64 | 488 / 8,5 | 685 / 12 |
- Réglage : Qwen3.8-27B, poids INT4, parallélisme de tenseurs à 4, cache KV en FP8, contexte de 131 072 tokens, 300 tokens générés par requête. Même hôte que ci-dessous (i9-9980XE, 64 Go de mémoire vive).
- Cache annoncé par le moteur avec le décodage spéculatif : 1 217 296 tokens, soit neuf contextes complets de 131k tenus à la fois.
- Le décodage spéculatif (2 tokens d’avance) gagne jusqu’à environ 16 requêtes simultanées et perd au-delà. Plus haut débit agrégé mesuré : 685 tokens/s à 64 requêtes sans lui, 12 tokens/s par requête ; pas testé au-delà.
- Limites : la première lecture d’un long prompt se fait à environ 900 tokens/s (110 000 tokens en deux minutes et demie environ). Avec le décodage spéculatif, le premier token sur un prompt de 7 600 tokens déjà en cache passe d’environ 1,3 s à 3,0 s.
- La qualité des poids INT4 n’a été vérifiée que sur une grille interne de 22 questions (21 justes, comme en FP8) : ce n’est pas un banc publié.
Au 11 novembre 2026, cette série n’est pas dans le dépôt public. Un débit agrégé est celui de la machine entière, jamais celui d’un utilisateur.
La machine
| GPU | 4× ASRock Arc Pro B60 Creator 24 Go (BMG-G21), chacune en PCIe x8 Gen3 |
|---|---|
| Hôte | Intel i9-9980XE, X299 (2018), 64 Go DDR4-3200 |
| OS / pilote | Ubuntu 24.04, noyau 7.0 HWE, pilote xe, GuC 70.72.1 |
| Moteurs | intel/vllm:0.21.0-xpu et llama.cpp SYCL (image server-intel) ; vLLM 0.32 compilé pour XPU pour la série de novembre |
Septembre 2026 : trois modèles résidents en même temps
| Carte | Modèle | Format / moteur | Poids |
|---|---|---|---|
| 0 | gpt-oss-20b | MXFP4 · vLLM-XPU | 13 Go |
| 1 | Qwen3-Coder-30B-A3B | GGUF Q4_K_XL · llama.cpp SYCL | 17,7 Go |
| 2 + 3 | Qwen3-Next-80B-A3B | GGUF Q3_K_XL · llama.cpp SYCL | 35,6 Go |
130 milliards de paramètres au total, environ 3 milliards actifs par token dans chaque modèle. 81,7 Go sur 96 utilisés, poids et cache KV compris.
Débit d’un modèle seul, à chaud
| Modèle | Génération | Lecture du prompt (~4k tokens) |
|---|---|---|
| Qwen3-Coder-30B-A3B | 82,4 tokens/s | 4 098 tokens en 4,2 s |
| gpt-oss-20b | 41,2 tokens/s | 3 307 tokens en 2,4 s |
| Qwen3-Next-80B-A3B | 36,2 tokens/s | 4 098 tokens en 10,3 s |
Le premier appel après chargement est 3 à 4 fois plus lent : envoyer une requête de préchauffe avant le vrai trafic.
Montée en charge : où ça tient, où ça casse
Avec les trois modèles servant 12 requêtes simultanées, 3 600 tokens sont sortis en 30,3 s (119 tokens/s agrégés), sans erreur et sans qu’un modèle ralentisse l’autre. Modèle par modèle, c’est le moteur qui décide de tout.
gpt-oss-20b sous vLLM-XPU (batching continu)
| Requêtes simultanées | Par requête | Agrégé |
|---|---|---|
| 1 | 35,1 tokens/s | 35,1 |
| 2 | 35,0 tokens/s | 70,0 |
| 4 | 33,6 tokens/s | 133,9 |
| 8 | — | 241 |
Qwen3-Next-80B sous llama.cpp SYCL (sans batching continu)
| Requêtes simultanées | Par requête | Agrégé |
|---|---|---|
| 1 | 32,0 tokens/s | 32,0 |
| 2 | 14,5 tokens/s | 28,8 |
| 4 | 7,0 tokens/s | 20,7 |
Correction, publiée ouvertement : notre première mesure de concurrence divisait les tokens par le temps total. Elle flattait les modèles rapides et cachait la régression du 80B. Les tableaux ci-dessus sont les chiffres corrigés.
Règle de conception qu’on en tire : tout ce qui est sensible à la latence (voix, complétion interactive) va au modèle servi par vLLM. Un grand modèle sous llama.cpp sert environ deux utilisateurs simultanés, pas quatre.
Ressources de l’hôte et consommation
| Au repos, 3 modèles chargés | Sous 12 requêtes simultanées | |
|---|---|---|
| RAM hôte disponible | 43,1 Go sur 62 | 41,5 Go (creux) |
| VRAM utilisée | 81,7 Go sur 96 | idem |
| Consommation, 4 cartes | 163 W | 211 W au pic |
| Températures | 52–62 °C | 52–62 °C |
64 Go de RAM hôte suffisent pour cette configuration. La contrainte est au chargement, pas en service : les modèles doivent être chargés l’un après l’autre.
Onze pannes rencontrées
La partie qui n’est documentée nulle part ailleurs. Les messages d’erreur exacts et les correctifs sont dans le dépôt.
- vLLM-XPU ne sert que les quantisations qui ont un noyau XPU natif : MXFP4 marche, la plupart des MoE quantifiés échouent sur un chemin réservé à NVIDIA.
- AWQ exige --dtype float16 explicitement.
- oneCCL ne pouvait pas échanger les handles IPC entre workers, ce qui bloquait le parallélisme de tenseurs avec vLLM 0.21. Levé en novembre 2026 avec vLLM 0.32 : voir la mise à jour plus haut.
- Deux processus sur le même GPU peuvent bloquer l’hôte.
- Les modèles doivent être chargés l’un après l’autre : les chargements parallèles ont gelé la machine trois fois.
- La première inférence après chargement est 3 à 4 fois plus lente.
- Docker --ipc host annule sans prévenir shm_size.
- Une carte dont le connecteur 8 broches est débranché disparaît simplement du bus PCI.
- Les cartes Battlemage affichent x1 dans lspci : c’est cosmétique, lire le port racine.
- Le firmware GuC 70.44.1 était instable ; le 70.72.1 de kernel.org l’a corrigé, sans redémarrage.
- Vulkan n’est pas une alternative à SYCL pour la génération.
Quelles cartes mères prennent quatre cartes
Les Arc Pro à turbine font deux slots d’épaisseur, ce qui élimine la plupart des cartes serveur. Mesuré sur les plans des fabricants : les ASUS Pro WS WRX90E-SAGE SE et W790E-SAGE SE en prennent quatre sur 8 emplacements ; les Supermicro H13SSL-N et H12SSL-i seulement trois. Tableau complet dans le dépôt.
Pas encore mesuré
- Consommation et températures de la configuration de novembre
- Arc Pro B70 et Arc Pro B60 Dual : pas encore de cartes
- Plus de 64 requêtes simultanées
Utiliser les données
Code sous MIT, documentation et mesures sous CC BY 4.0 : reprenez les chiffres, citez le dépôt. Une erreur ? Ouvrez une issue.
La même pile, livrée
SOKKAN Anchor, c’est cette machine, assemblée à Genève avec les trois modèles déjà en service et une API compatible OpenAI. Vous pouvez tester Qwen3.8-27B, le modèle mesuré dans la mise à jour de novembre, par notre API avec une clé d’essai avant d’acheter.