在如今这个人工智能（AI）飞发展的时代，各大企业都在全力以赴地想要将 AI 技术应用到生产环境中，以期获得更高的投资回报率。然而，即便市场上有各种先进的 AI 模型，团队们在部署时依然面临不少挑战。
根据 Everest Group 的首席执行官彼得・本多尔 - 塞缪尔的估计，90% 的生成式 AI 试点项目将难以进入生产阶段。此外，Gartner 预测到2025年底，许多生成式 AI 项目可能会在概念验证后被遗弃。
在这些挑战中，最大的障碍就是协调问题。团队往往缺乏足够的资源来完成所有工作，这使他们不得不依赖那些僵化且昂贵的第三方 API。为了填补这一空白，Simplismart AI 最近获得700万美元的融资，推出了一个端到端的机器学习运营平台，旨在加速整个协调过程，从模型微调到部署和监控一应俱全。
与市场上其他机器学习运营解决方案相比，Simplismart 的亮点在于其个性化的软件优化推理引擎。该引擎可以以极快的速度部署模型，大幅提升性能并降低相关成本。Simplismart 的联合创始人阿米特兰舒・贾因表示，在没有任何硬件优化的情况下，Llama3.18B 模型的吞吐量达到了每秒501个 token，远超其他推理引擎。
在内部部署 AI 时，团队需要面对多个瓶颈，包括获取计算能力、优化模型性能、扩展基础设施和成本效率等。Simplismart 的平台标准化了整个工作流程，用户可以根据需要微调、部署和观察高度优化的开源模型。
用户可以选择使用 Simplismart 的共享基础设施或自带计算资源，方便地配置自己的基础设施和部署。此外，平台的直观仪表板使用户能够设置 GPU、机器类型和扩展范围等参数。平台还提供了监控功能，让用户可以追踪服务水平协议（SLA），监测模型的实际性能。
目前，Simplismart 已与30家企业客户建立了合作关系，并计划进一步提升其机器学习运营平台的性能。公司希望借助新一轮融资推动研发，提升 AI 推理速度，并力争在未来15个月内将年化收入从约100万美元增长到1000万美元。
划重点:
💡90% 的生成式 AI 试点项目将难以进入生产阶段，协调问题是最大障碍。
🚀 Simplismart 的个性化推理引擎在无硬件优化的情况下实现了每秒501个 token 的吞吐量。
📈 公司已与30家企业客户建立合作，目标在15个月内将年化收入提升到1000万美元。