Llama-3 8B Instruct 262k
一款由Gradient AI团队开发的高性能文本生成模型。
普通产品生产力文本生成长文本处理
Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型,它扩展了LLama-3 8B的上下文长度至超过160K,展示了SOTA(State of the Art)大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数,并结合NTK-aware插值和数据驱动的优化技术,实现了在长文本上的高效学习。此外,它还基于EasyContext Blockwise RingAttention库构建,以支持在高性能硬件上的可扩展和高效训练。
Llama-3 8B Instruct 262k 最新流量情况
月总访问量
19075321
跳出率
45.07%
平均页面访问数
5.5
平均访问时长
00:05:32