AIbase
उत्पाद लाइब्रेरीटूल नेविगेशन

vllm

Public

A high-throughput and memory-efficient inference and serving engine for LLMs

निर्माण समय2023-02-09T19:23:20
अपडेट समय2024-05-09T16:46:28
https://docs.vllm.ai
45.0K
Stars
169
Stars Increase

संबंधित प्रोजेक्ट