类型 :
- 新闻资讯
- 产品应用
- 变现案例
- AI教程
2024-08-28 11:29:28.AIbase.11.3k
Cerebras推出"世界最快"AI推理服务,挑战Nvidia主导地位
Cerebras Systems Inc.宣布推出号称“世界最快”的AI推理服务,挑战Nvidia Corp.,旨在以更快速度和更低成本完成AI任务。该服务基于WSE-3处理器,拥有90余万计算核心和44GB内存,核心数量是Nvidia H100的52倍。声称推理速度可达每秒1,000个令牌,比Nvidia同类服务快20倍,且性价比高100倍。服务提供免费、开发者和企业级三个层级,价格从每百万令牌10美分起。已吸引葛兰素史克、Perplexity AI Inc.、Meter Inc.等知名机构成为早期客户。DeepLearning AI Inc.创始人Andrew Ng博士对该服务给予高度评价。此外,Cerebras还宣布与LangChain、LlamaIndex等多家公司建立战略合作伙伴关系,提供AI开发工具,并与OpenAI兼容,方便现有应用程序迁移。
2024-08-28 09:34:17.AIbase.11.3k
号称全球最快AI推理服务问世!速度提升20倍 成本极低
Cerebras Systems推出Cerebras Inference,宣称这是全球最快的AI推理服务,性能超越基于GPU的传统系统20倍,成本效益显著提高,特别适用于处理大语言模型(LLMs)。其8B版本每秒处理1800个token,70B版本则为450个token,速度和性价比远超NVIDIA GPU解决方案。Cerebras Inference在保持行业领先准确度的同时,价格仅为每百万个token10美分至60美分,相比GPU产品提升100倍。这项服务特别适合构建需要复杂实时性能的下一代AI应用,如智能代理和智能系统,并提供免费、开发者和企业三个层次的服务,满足不同需求。Cerebras Inference的核心技术基于Cerebras CS-3系统,搭载业界领先的Wafer Scale Engine3(WSE-3),提供远超NVIDIA H100的内存带宽。此服务不仅推动了AI计算领域的革新,还在医疗、能源、政府、科学计算和金融服务等多个行业中发挥关键作用,引领AI技术发展。