近年来，大型语言模型（LLMs）在数据管理领域受到了广泛关注，应用范围不断扩大，包括数据整合、数据库调优、查询优化以及数据清洗等。然而，处理非结构化数据，尤其是复杂文档时，依然面临许多挑战。
目前一些基于 LLM 的非结构化数据处理框架往往更注重降低成本，而忽视了提升处理准确性的问题。这一问题在分析复杂任务时尤为突出，因为 LLM 输出的结果往往无法精确满足用户的特定需求。
以加州大学伯克利的调查报道项目为例，研究人员希望分析大量通过记录请求获得的警察记录，以揭示警员的不当行为和潜在的程序违规。这项名为警察不当行为识别（PMI）的任务，需要处理多种类的文档，提取并总结关键信息，同时在多份文件中进行数据汇总，生成详细的行为总结。现有的方法通常仅使用一次 LLM 处理每个文档，这种单一步骤的映射操作在准确性上常常不足，尤其是当文档长度超过 LLM 的上下文限制时，重要信息可能会被遗漏。
为了解决这些问题，加州大学伯克利分校和哥伦比亚大学的研究团队提出了一个名为 DocETL 的创新系统。DocETL 旨在优化复杂文档处理流程，解决现有 LLM 的局限性。这个系统提供了一个声明性接口，让用户能够灵活定义处理流程，并利用基于代理的框架进行自动优化。DocETL 的关键功能包括为 LLM 任务量身定制的逻辑重写流程、代理引导的计划评估机制，以及一个高效的优化算法，帮助识别出最有潜力的处理计划。
在对警察不当行为识别任务进行评估时，DocETL 采用了一组来自加州警察部门的227份文档，面对着诸如文档长度超过 LLM 上下文限制等多重挑战。通过不同的管道变体进行评估，DocETL 显示出在优化复杂文档处理任务中的独特能力。
人类评估与 LLM 评审显示，DocETL 的输出准确性比传统方法提升了1.34倍，表明该系统在处理复杂文档任务时的重要性及其有效性。
综上所述，DocETL 作为一款创新的声明性系统，不仅能够有效解决复杂文档处理中的诸多难题，也为未来的研究与应用奠定了坚实的基础。
论文:https://arxiv.org/abs/2410.12189v1
项目:https://github.com/ucbepic/docetl
划重点:
🌟 LLM 在处理复杂文档时准确性不足，存在显著挑战。
📄 DocETL 系统为文档处理提供了灵活的声明性接口和自动优化功能。
🤖 通过人类评估，DocETL 输出质量显著提升，提升幅度达到1.34倍。