李开复领队开源大模型Yi,40万字上下文窗口破纪录

李开复博士领衔成立的零一万物,在官宣成立仅7个月后,就交出了两款中英文大模型Yi-6B和Yi-34B。其中,Yi-34B支持长达40万字的上下文窗口,在多个基准测试中表现突出,名列前茅。李开复表示,零一万物正在持续扩大模型规模,训练千亿参数模型,同时也在推进大模型的多模态能力。他认为,大模型参数规模会持续增长,以探索模型技术和效果的极限。