gemma.cpp是谷歌为Gemma模型开发的轻量级、独立的C++推理引擎。它专注于为Gemma 2B和7B模型提供简洁、直接的实现，旨在支持研究和实验用例，易于嵌入其他项目且具有高度的可修改性。gemma.cpp利用Google Highway库，优化了CPU推理性能。