华人团队为RLHF设计新算法 节省约50%内存

AI行业动态8个月前发布 ainavi
7,792 0

来自香港中文大学(深圳)、南京大学等机构的华人团队发表论文,介绍了一种名为ReMax的新算法,专为RLHF(基于人类反馈的强化学习)而设计。ReMax在计算效率和实现简易性上超越了最常用的算法PPO,约减少50%的GPU内存,实现2倍的训练速度提升,核心部分实现只需6行代码,且性能没有损失。

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...