大模型公司关注“长文本”：上下文长度的真正挑战在Transformer结构

大模型公司正在加大对“长文本”处理能力的研发，但真正的挑战在于如何克服Transformer结构的限制。这一趋势将为金融、司法、科研等领域带来更深层次的应用。