华人团队推出Medusa简单框架 LLM推理提速2倍

AI行业动态9个月前发布 ainavi
5,980 0

据新智元报道,来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型(LLM)推理速度的简单框架Medusa,并于今日开源发布。测试结果显示,Medusa可以将LLM的生成效率提高约2倍。
Github开源地址:
https://github.com/FasterDecoding/Medusa
项目主页:
https://sites.google.com/view/medusa-llm

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...