Die Ant Group hat kürzlich eine 4-Bit-quantisierte Version von CodeFuse-CodeLlama-34B veröffentlicht. Das Modell kann nach der Quantisierung immer noch mit einer einzelnen A10 oder RTX4090 geladen werden.
Das quantisierte Modell erreicht einen Humaneval pass@1 Wert von 73,8 %.
CodeFuse ist ein von Ant selbst entwickeltes, speziell für die Codegenerierung konzipiertes großes Sprachmodell. Es unterstützt Entwickler durch intelligente Vorschläge und Echtzeit-Unterstützung bei der automatischen Codegenerierung und steigert so die Entwicklungseffizienz.