预测token速度翻番!Transformer新解码算法火了,来自小羊驼团队|代码已开源

AI行业动态11个月前发布 ainavi
10,536 0

小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进而加速LLM推理。它主要利用雅可比(Jacobi)迭代法首次打破自回归解码中的顺序依赖性。

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...