Mistral-Nemo-Instruct-2407 ist ein von Mistral AI und NVIDIA gemeinsam trainiertes großes Sprachmodell (LLM), eine instruktionsfeinabgestimmte Version von Mistral-Nemo-Base-2407. Das Modell wurde mit mehrsprachigen und Code-Daten trainiert und übertrifft deutlich bestehende Modelle ähnlicher oder geringerer Größe. Zu den Hauptmerkmalen gehören: Unterstützung für mehrsprachiges und Code-Datentraining, 128k Kontextfenster, Alternative zu Mistral 7B. Die Modellarchitektur umfasst 40 Schichten, 5120 Dimensionen, 128 Kopfdimensionen, 1436 versteckte Dimensionen, 32 Köpfe, 8 kv-Köpfe (GQA), ein Vokabular von 2^17 (ca. 128k) und Rotations-Embedding (theta=1M). Das Modell zeigt in verschiedenen Benchmarks hervorragende Ergebnisse, wie z. B. HellaSwag (0-shot), Winogrande (0-shot), OpenBookQA (0-shot) usw.