不错过全球AI革新的每一个时刻
每天三分钟关注AI行业趋势
AI行业大事记
列出所有AI硬件产品。
AI变现案例分享
AI图片制作变现案例分享
AI视频制作变现案例分享
AI音频制作变现案例分享
AI内容写作变现案例分享
免费分享最新AI教程内容
展示AI网站的总访问量排名
追踪AI网站访问量增长最快产品
关注访问量下降明显的AI网站
展示AI网站的周访问量排名
美国用户最喜欢的AI网站
中国用户最喜欢的AI网站
印度用户最喜欢的AI网站
巴西用户最喜欢的AI网站
AI图片生成网站总访问量榜单
AI个人助理网站总访问量榜单
AI角色生成网站总访问量榜单
AI视频生成网站总访问量榜单
热门AI项目总Start榜单
热门AI项目增速榜
热门AI开发者排名
热门AI组织排名榜单
热门deepseek开源项目
热门TTS开源项目
热门LLM开源项目
热门ChatGPT开源项目
github热门AI开源项目总览
发现与 Triton Inference Server 相关的最受欢迎的开源项目和工具，了解最新的开发趋势和创新。
针对加速型基础设施和微服务架构优化的生成式 AI 参考工作流程。
添加了BiSeNetV2。这是我实现的BiSeNet模型。
这个仓库将 YOLOv4 作为优化的 TensorRT 引擎部署到 Triton 推理服务器上。
支持OpenAI接口的TensorRT大语言模型Triton后端
深度学习部署框架：支持TensorFlow、PyTorch、TensorRT、TRT-LLM、vLLM等多种神经网络框架。支持动态批处理和流式模式，兼容Python和C++两种语言，具有可扩展性、高性能和良好的可伸缩性。该框架帮助用户快速部署模型，并通过HTTP/RPC接口提供服务。
ClearML：模型服务编排和资源库解决方案
ONNX运行时的Triton后端
使用ONNX/TensorRT和Triton Inference Server部署稳定扩散模型
基于NVIDIA Triton/TensorRT，支持CUDA的GPU，针对Jetson和x86_64平台的，使用NVIDIA加速的深度神经网络模型推理ROS 2软件包
用于语音转换的扩散模型
比较Triton平台上多种优化方法，以提升模型服务的性能
使用PyTorch、Redis、Elasticsearch、Feast、Triton和Flask构建推荐系统。包含向量召回、DeepFM排序和Web应用程序。
Triton推理服务器的精简配置
基于NVIDIA Triton推理服务器的高级CRAFT文本检测（Pytorch）推理流程，包含Pytorch到ONNX到TensorRT的模型转换器，以及TensorRT和Triton服务器（多格式）的推理流程。Triton推理服务器支持的模型格式包括：TensorRT引擎、Torchscript和ONNX。
使用Docker和Kubernetes在Triton推理服务器上部署CodeGen-350M-Mono-GPTJ模型的示例
基于TensorRT的Magface Triton推理服务器
使用Triton推理服务器部署KoGPT
支持 ArmNN 代理的 Nvidia Triton 运行环境下的 TensorFlow Lite 后端
基于英伟达Triton推理服务器的机器学习模型服务
将 Pytorch 模型通过 MLFlow 模型注册中心部署到 Triton 推理服务器的示例
