Lookahead Decoding
打破LLM推理的顺序依赖性
普通产品编程推理方法LLM
Lookahead Decoding是一种新的推理方法,用于打破LLM推理的顺序依赖性,提高推理效率。用户可以通过导入Lookahead Decoding库,使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。
Lookahead Decoding 最新流量情况
月总访问量
499904316
跳出率
37.31%
平均页面访问数
5.8
平均访问时长
00:06:52