百川智能与天津大学合作推出了"Sibyl System"智能体框架，并在GAIA Leader Board上取得了第一名的成绩。GAIA是Meta、Huggingface和AutoGPT于2023年11月提出的全新评测方案，主要评测Agent在复杂任务执行方面的能力和方案。这个评测方案揭示了现有模型的能力缺陷，并为模型和Agent的研发提供了改进方向。

GAIA的测试题目更接近真实世界，要求AI具备推理、多模态理解（文本、图片、音/视频）、网页浏览和使用工具等能力。这些题目对人类来说不难理解，但对模型来说极具挑战性。例如，GPT-4在测试中的成功率仅为15%，而人类实验者可以达到92%。完成这些题目通常需要较长的逻辑链路和时间，涉及多个步骤和工具。

微信截图_20240724082043.png

"Sibyl System"框架的设计特点包括:

  • 类人的浏览器界面替代检索增强生成。

  • 问答替代对话，使用无状态的问答函数，简化系统架构。

  • 仅使用网页浏览器和Python环境这两个通用工具，减少对专用工具的依赖。

  • 从System1到System2，引入“陪审团”机制，通过多代理辩论进行自我批评和修正，利用全局工作区中的信息提高响应的准确性。

Sibyl System是一个结构简单但功能强大的基于大型语言模型的Agent框架，能够通过使用少量工具解决复杂的推理问题。它通过引入Global Workspace和Multi-Agent机制，以及基于浏览器的通用信息获取渠道，降低了系统复杂度，同时扩展了解决问题的复杂度，实现了模型从“快思考”到“慢思考”的转变。Sibyl System还具有很好的可扩展性和易于调试的特点，可以轻松替换其他模型的Agent模块，提升模型的能力。

技术报告:https://arxiv.org/pdf/2407.10718