shinyKGode

一种高效且内存利用率高的用于大型语言模型推理和服务的引擎

降低大型AI模型的成本，提升其速度和易用性

OpenAI Whisper 模型的 C/C++ 端口

DeepSpeed是一个深度学习优化库，它使分布式训练和推理变得轻松、高效且有效。

ncnn是一个针对移动平台优化的，高性能神经网络推理框架。

机器学习工程公开课

TypeScript 的强大模式匹配库，具有智能类型推断功能。

SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架。

NVIDIA TensorRT 是一个用于在 NVIDIA GPU 上进行高性能深度学习推理的 SDK（软件开发工具包）。这个代码库包含 TensorRT 的开源组件。

一些 Jupyter Notebook 示例，演示如何使用 Amazon SageMaker 构建、训练和部署机器学习模型。