谷歌发布新型视觉语言模型PixelLLM

AI行业动态4个月前发布 ainavi
5,892 0

来自谷歌、加州大学圣地亚哥分校的团队发布论文,介绍了PixelLLM(像素对齐语言模型),该模型可以提供对图像上具体某个位置的详细描述,并精确指出其位置。该项目的目标是开发一种视觉语言模型,可以将位置(例如一组点或框)作为输入或输出。将位置作为输入时,模型会执行位置条件字幕,为指定对象或区域生成字幕;当生成位置作为输出时,模型会对语言模型生成的每个输出词进行像素坐标回归,从而执行密集词接地。该模型在本地化叙事数据集上进行了预训练,该数据集包含来自人类注意力的像素字对齐字幕。研究表明,PixelLLM可以应用于各种位置感知视觉语言任务,包括指代定位、位置条件字幕和密集物体字幕,并在RefCOCO和Visual Genome上取得了最先进的性能。

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...