inabot

Mesures · Intel Arc Pro B60

Intel Arc Pro B60 pour l’inférence LLM : ce que font vraiment quatre cartes

Trois modèles MoE gardés en VRAM en même temps sur 4× Arc Pro B60 24 Go, servis par llama.cpp (SYCL) et vLLM-XPU. Mesuré les 10 et 11 septembre 2026 sur une machine qui porte aussi une charge de production : ces chiffres sont un plancher, pas un plafond. Chaque chiffre, script et panne de cette série est dans notre dépôt public. Le 11 novembre 2026, nous avons ajouté à cette page une mesure de laboratoire d’un seul modèle de 27B réparti sur les quatre cartes.

93 tokens/sQwen3.8-27B INT4 sur 4 cartes, une requête, décodage spéculatif — 11.11.2026
685 tokens/sagrégés à 64 requêtes simultanées (12 par requête), même modèle, sans décodage spéculatif — 11.11.2026
211 Wau pic pour les quatre cartes, 163 W au repos, 52–62 °C (série de septembre, trois modèles)
≈ 25 CHF / Gode VRAM au prix public suisse (614 CHF la carte de 24 Go)

Ouvrir le dépôt sur GitHub →

Mise à jour · 11 novembre 2026

Qwen3.8-27B réparti sur les quatre cartes

Une mesure de laboratoire sur la même machine : un modèle dense de 27B en INT4, en parallélisme de tenseurs sur les quatre B60, servi par vLLM 0.32 compilé pour XPU. Ce n’est pas la configuration livrée avec Anchor, qui reste celle des trois modèles résidents décrite plus bas.

Requêtes simultanéesAvec décodage spéculatif : agrégé / par requêteSans : agrégé / par requête
193 / 93 tokens/s59 / 59 tokens/s
8316–330 / 45314 / 43
16404 / 30396 / 30
32480 / 17563 / 20
64488 / 8,5685 / 12
  • Réglage : Qwen3.8-27B, poids INT4, parallélisme de tenseurs à 4, cache KV en FP8, contexte de 131 072 tokens, 300 tokens générés par requête. Même hôte que ci-dessous (i9-9980XE, 64 Go de mémoire vive).
  • Cache annoncé par le moteur avec le décodage spéculatif : 1 217 296 tokens, soit neuf contextes complets de 131k tenus à la fois.
  • Le décodage spéculatif (2 tokens d’avance) gagne jusqu’à environ 16 requêtes simultanées et perd au-delà. Plus haut débit agrégé mesuré : 685 tokens/s à 64 requêtes sans lui, 12 tokens/s par requête ; pas testé au-delà.
  • Limites : la première lecture d’un long prompt se fait à environ 900 tokens/s (110 000 tokens en deux minutes et demie environ). Avec le décodage spéculatif, le premier token sur un prompt de 7 600 tokens déjà en cache passe d’environ 1,3 s à 3,0 s.
  • La qualité des poids INT4 n’a été vérifiée que sur une grille interne de 22 questions (21 justes, comme en FP8) : ce n’est pas un banc publié.

Au 11 novembre 2026, cette série n’est pas dans le dépôt public. Un débit agrégé est celui de la machine entière, jamais celui d’un utilisateur.

La machine

GPU4× ASRock Arc Pro B60 Creator 24 Go (BMG-G21), chacune en PCIe x8 Gen3
HôteIntel i9-9980XE, X299 (2018), 64 Go DDR4-3200
OS / piloteUbuntu 24.04, noyau 7.0 HWE, pilote xe, GuC 70.72.1
Moteursintel/vllm:0.21.0-xpu et llama.cpp SYCL (image server-intel) ; vLLM 0.32 compilé pour XPU pour la série de novembre

Septembre 2026 : trois modèles résidents en même temps

CarteModèleFormat / moteurPoids
0gpt-oss-20bMXFP4 · vLLM-XPU13 Go
1Qwen3-Coder-30B-A3BGGUF Q4_K_XL · llama.cpp SYCL17,7 Go
2 + 3Qwen3-Next-80B-A3BGGUF Q3_K_XL · llama.cpp SYCL35,6 Go

130 milliards de paramètres au total, environ 3 milliards actifs par token dans chaque modèle. 81,7 Go sur 96 utilisés, poids et cache KV compris.

Débit d’un modèle seul, à chaud

ModèleGénérationLecture du prompt (~4k tokens)
Qwen3-Coder-30B-A3B82,4 tokens/s4 098 tokens en 4,2 s
gpt-oss-20b41,2 tokens/s3 307 tokens en 2,4 s
Qwen3-Next-80B-A3B36,2 tokens/s4 098 tokens en 10,3 s

Le premier appel après chargement est 3 à 4 fois plus lent : envoyer une requête de préchauffe avant le vrai trafic.

Montée en charge : où ça tient, où ça casse

Avec les trois modèles servant 12 requêtes simultanées, 3 600 tokens sont sortis en 30,3 s (119 tokens/s agrégés), sans erreur et sans qu’un modèle ralentisse l’autre. Modèle par modèle, c’est le moteur qui décide de tout.

gpt-oss-20b sous vLLM-XPU (batching continu)

Requêtes simultanéesPar requêteAgrégé
135,1 tokens/s35,1
235,0 tokens/s70,0
433,6 tokens/s133,9
8—241

Qwen3-Next-80B sous llama.cpp SYCL (sans batching continu)

Requêtes simultanéesPar requêteAgrégé
132,0 tokens/s32,0
214,5 tokens/s28,8
47,0 tokens/s20,7

Correction, publiée ouvertement : notre première mesure de concurrence divisait les tokens par le temps total. Elle flattait les modèles rapides et cachait la régression du 80B. Les tableaux ci-dessus sont les chiffres corrigés.

Règle de conception qu’on en tire : tout ce qui est sensible à la latence (voix, complétion interactive) va au modèle servi par vLLM. Un grand modèle sous llama.cpp sert environ deux utilisateurs simultanés, pas quatre.

Ressources de l’hôte et consommation

Au repos, 3 modèles chargésSous 12 requêtes simultanées
RAM hôte disponible43,1 Go sur 6241,5 Go (creux)
VRAM utilisée81,7 Go sur 96idem
Consommation, 4 cartes163 W211 W au pic
Températures52–62 °C52–62 °C

64 Go de RAM hôte suffisent pour cette configuration. La contrainte est au chargement, pas en service : les modèles doivent être chargés l’un après l’autre.

Onze pannes rencontrées

La partie qui n’est documentée nulle part ailleurs. Les messages d’erreur exacts et les correctifs sont dans le dépôt.

  1. vLLM-XPU ne sert que les quantisations qui ont un noyau XPU natif : MXFP4 marche, la plupart des MoE quantifiés échouent sur un chemin réservé à NVIDIA.
  2. AWQ exige --dtype float16 explicitement.
  3. oneCCL ne pouvait pas échanger les handles IPC entre workers, ce qui bloquait le parallélisme de tenseurs avec vLLM 0.21. Levé en novembre 2026 avec vLLM 0.32 : voir la mise à jour plus haut.
  4. Deux processus sur le même GPU peuvent bloquer l’hôte.
  5. Les modèles doivent être chargés l’un après l’autre : les chargements parallèles ont gelé la machine trois fois.
  6. La première inférence après chargement est 3 à 4 fois plus lente.
  7. Docker --ipc host annule sans prévenir shm_size.
  8. Une carte dont le connecteur 8 broches est débranché disparaît simplement du bus PCI.
  9. Les cartes Battlemage affichent x1 dans lspci : c’est cosmétique, lire le port racine.
  10. Le firmware GuC 70.44.1 était instable ; le 70.72.1 de kernel.org l’a corrigé, sans redémarrage.
  11. Vulkan n’est pas une alternative à SYCL pour la génération.

Quelles cartes mères prennent quatre cartes

Les Arc Pro à turbine font deux slots d’épaisseur, ce qui élimine la plupart des cartes serveur. Mesuré sur les plans des fabricants : les ASUS Pro WS WRX90E-SAGE SE et W790E-SAGE SE en prennent quatre sur 8 emplacements ; les Supermicro H13SSL-N et H12SSL-i seulement trois. Tableau complet dans le dépôt.

Pas encore mesuré

  • Consommation et températures de la configuration de novembre
  • Arc Pro B70 et Arc Pro B60 Dual : pas encore de cartes
  • Plus de 64 requêtes simultanées

Utiliser les données

Code sous MIT, documentation et mesures sous CC BY 4.0 : reprenez les chiffres, citez le dépôt. Une erreur ? Ouvrez une issue.

Ouvrir le dépôt sur GitHub

La même pile, livrée

SOKKAN Anchor, c’est cette machine, assemblée à Genève avec les trois modèles déjà en service et une API compatible OpenAI. Vous pouvez tester Qwen3.8-27B, le modèle mesuré dans la mise à jour de novembre, par notre API avec une clé d’essai avant d’acheter.