近日，一场别开生面的AI能力评测在《我的世界》平台上展开，吸引了大量关注。新旧两个版本的Claude3.5Sonnet在游戏中展开建筑PK，展现出明显的能力差异，新版本（暂称"Sonnet3.6"）的表现尤其亮眼。
这项由开发者adi发起的测试被戏称为"唯一可靠的评测基准"。评测基准研究者Aidan McLau认为这个方法恰好满足了当前AI评测的需求，并指出审美能力与智力水平密切相关。该项目很快获得了开源社区的支持，相关代码已在GitHub上线。
测试结果显示，各大模型都展现出独特的"个性":
Sonnet3.6在创意性方面略胜一筹，获得2000多名网友的投票支持
OpenAI的o1-preview虽然构建速度较慢，但在还原真实建筑（如泰姬陵）时表现出色
o1-mini则无法完成相关任务
Llama3405B建造了象征自我的"火坑上的钻石墙"
阿里的Qwen2.5-14B也展现出不俗实力
值得注意的是，AI在游戏中的建造过程并不依赖视觉理解或直接控制输入设备，而是通过文本形式提供上下文并生成操作指令，类似于下盲棋。技术实现上主要依靠:
mineflayer开源库:将AI生成的指令转换为可执行的API调用
mindcraft开源库:提供通用提示词和示例，支持各类模型接入游戏
项目组计划将这一评测机制进一步完善，打造类似Lmsys竞技场的评分系统，采用Elo算法根据人类用户投票进行排名。据悉，完整测试环境仅需15分钟即可搭建完成。
这种新颖的评测方式不仅展示了AI的创造力，也为大模型能力的客观评估提供了全新视角。正如o1-preview在自由发挥时选择搭建机器人并拼出"GPT"字样，AI似乎已经开始在这个虚拟世界中展现自己的"个性"。随着更多模型加入测试，这个经典游戏正在成为见证AI发展的独特平台。
视频教程:
https://x.com/mckaywrigley/status/1849613686098506064
开源代码:
https://github.com/kolbytn/mindcraft
https://github.com/mc-bench/orchestrator
