Mistral AI

Mixtral 8x7B

46,7 Md

Paramètres

24,6 Go

Fichier Q4_K_M

≥ 26,1 Go

VRAM conseillée

32 768

Contexte max

Pas encore mesuré

Aucune carte n'a encore passé le protocole TokenBench sur ce modèle. Le protocole actuel couvre une sélection de modèles ; la mesure de n'importe quel modèle du catalogue depuis l'application arrive bientôt.

Mesurer ma carte →

Sur quelles cartes devrait-il tenir ?

Cartes du site dont la mémoire vidéo couvre les 26,1 Go conseillés (fichier + contexte de 4 000 tokens). Estimation, pas une mesure. Cliquez sur une carte pour l'estimation détaillée.

Fiche technique

Publication: 2023-12-10
Architecture: 32 couches · 8 têtes KV · dimension 128
Attention: Classique : chaque couche garde tout le contexte en mémoire.
Cache de contexte (f16): ≈ 125 Mo par 1 000 tokens · 4,0 Go pour 32 768 tokens
Fichier GGUF: TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF · mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf Télécharger (24,6 Go)
Dépôt officiel: mistralai/Mixtral-8x7B-Instruct-v0.1

Données publiques Hugging Face (config.json officiel, dépôt GGUF). Le cache de contexte ne compte que les couches à attention complète.