Die IBM Granite 3.0 Modelle sind eine Reihe leistungsstarker KI-Sprachmodelle, die von IBM entwickelt und über die Ollama-Plattform bereitgestellt werden. Diese Modelle wurden mit über 12 Billionen Tokens trainiert und zeigen eine deutliche Verbesserung in Bezug auf Leistung und Geschwindigkeit. Sie unterstützen werkzeugbasierte Anwendungsfälle, darunter Retrieval Augmented Generation (RAG), Codegenerierung, Übersetzung und Fehlerbehebung. Die IBM Granite 3.0 Modelle umfassen dichte Modelle und Mixture-of-Experts (MoE)-Modelle, wobei letztere speziell für den Einsatz mit geringer Latenz entwickelt wurden und sich für On-Device-Anwendungen oder Szenarien eignen, die sofortige Inferenz erfordern.