据新智元报道，来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型（LLM）推理速度的简单框架Medusa，并于今日开源发布。测试结果显示，Medusa可以将LLM的生成效率提高约2倍。
Github开源地址：
https://github.com/FasterDecoding/Medusa
项目主页：
https://sites.google.com/view/medusa-llm
© 版权声明
文章版权归作者所有，未经允许请勿转载。
关注公众号，免费获取chatgpt账号
相关文章
暂无评论...
AI中国(aicn.me)致力于收集与AI相关的热门工具，包括但不限于ChatGPT、AI视频、AI办公、AI语音等领域，并为广大AI爱好者提供学习平台，降低获取学习资源的成本。同时，同步分享最新的行业前沿AI工具和网站，旨在帮助AI爱好者不断探索AI技术的发展。
