Samba ist ein einfach zu handhabendes und leistungsstarkes Hybridmodell mit unbegrenzter Kontextlänge. Seine Architektur ist denkbar einfach: Samba = Mamba + MLP + gleitendes Fenster-Aufmerksamkeitsmechanismus + hierarchischer MLP-Stack. Das Samba-3.8B-Modell wurde mit 3,2 Billionen Token auf dem Phi3-Datensatz trainiert und übertrifft deutlich Phi3-mini in wichtigen Benchmarks (z. B. MMLU, GSM8K und HumanEval). Samba ermöglicht zudem mit minimaler Anpassung eine perfekte Langtext-Retrieval-Fähigkeit bei gleichzeitiger linearer Komplexität zur Sequenzlänge. Dies ermöglicht dem Samba-3.8B-instruct herausragende Leistungen bei Downstream-Aufgaben wie der Langtext-Zusammenfassung.