在多个基准测试中均刷新了业界最好的 zero-shot 性能。
一个统一的模型，可以对不同模态输入内容（文本、图像、视频、音频、imu 运动传感器数据）实现理解，并生成文本响应，技术基于 llama 2，来自 meta。
昨天，多模态大模型 anymal 的研究吸引了 ai 研究社区的关注。
大型语言模型（llm）以其巨大的规模和复杂性而闻名，它极大地增强了机器理解和表达人类语言的能力。llm 的进步使视觉语言领域有了显著进步，弥合了图像编码器和 llm 之间的差距，将它们的推理能力结合起来。先前的多模态 llm 研究集中在结合文本和另一种模态的模型上，如文本和图像模型，或者集中在非开源的专有语言模型上。
如果有一种更好的方法能够实现多模态功能，将各种模态能够嵌入在llm中使用，这会给我们带来不同的体验吗？
输出示例
为了解决这个问题，来自meta的研究人员最近推出了anymal（any-modality augmented language model）。这是一个经过训练的多模态编码器集合，可以将来自各种模态（包括图像、视频、音频和imu运动传感器数据）的数据转换为llm的文本嵌入空间
论文地址：https://huggingface.co/papers/2309.16058
根据说明，该研究的主要贡献如下所示：
为构建多模态 llm 提出了一种高效、可扩展的解决方案。本文提供了在大型数据集上预先训练的投影层，这些数据集包含多种模态（例如，2 亿张图像、220 万段音频、50 万 imu 时间序列、2800 万段视频），所有数据集都与同一个大模型（llama-2- 70b-chat）对齐，从而实现了交错式多模态上下文提示。
本研究使用跨三种模式（图像、视频和音频）的多模态指令集对模型进行了进一步微调，涵盖了简单问答（qa）领域以外的各种不受限制的任务。该数据集包含高质量的人工收集指令数据，因此本研究将其作为复杂多模态推理任务的基准
本文最佳模型在各种任务和模式的自动和人工评估中取得了很好的零误差性能，相较于现有文献中的模型，在 vqav2 上的相对准确率提高了7.0%，在零误差 coco 图像字幕上提高了8.4% 的 cider，在 audiocaps 上提高了14.5% 的 cider，创造了新的 sota
方法
                                        方法概览
预训练模态对齐的内容需要进行改写
通过使用配对的多模态数据（包括特定的模态信号和文本叙述），本研究对llm进行了预训练，以实现多模态理解能力，如图2所示。具体而言，我们为每个模态训练了一个轻量级适配器，将输入信号投射到特定llm的文本标记嵌入空间中。这样，llm的文本标记嵌入空间就变成了一个联合的标记嵌入空间，其中标记可以代表文本或其他模态
关于图像对齐的研究，我们使用了laion-2b数据集的一个干净子集，并采用了cat方法进行过滤，对任何可检测到的人脸进行了模糊处理。而对于音频对齐的研究，则使用了audioset（2.1m）、audiocaps（46k）和clotho（5k）数据集。此外，我们还使用了ego4d数据集进行imu和文本的对齐（528k）
对于大型数据集，要将预训练扩展到70b参数模型需要大量资源，通常需要使用fsdp封装器在多个gpu上对模型进行分片。为了有效地扩展训练规模，本文在多模态设置中实施了量化策略（4位和8位），其中冻结了模型的llm部分，只有模态tokenizer是可训练的。这种方法将内存需求缩小了一个数量级。因此，70b anymal能够在单个80gb vram gpu上就完成训练，batch size为4。与fsdp相比，本文提出的量化方法只使用了gpu资源的一半，却实现了相同的吞吐量
利用多模态指令数据集进行微调的意思是使用多种模态的指令数据集来进行微调
为了进一步提高模型对不同输入模态的指令跟随能力，研究利用多模态指令调整（mm-it）数据集进行了额外的微调。具体来说，我们将输入连接为 []，这样响应目标就同时以文本指令和模态输入为基础。研究对以下两种情况进行消减：（1）在不改变 llm 参数的情况下训练投影层；或（2）使用低级适应（low-rank adaptation）进一步调整 lm 行为。研究同时使用人工收集的指令调整数据集和合成数据。
实验及结果
图像标题生成是一种人工智能技术，用于自动为图像生成相应的标题。这项技术结合了计算机视觉和自然语言处理的方法，通过分析图像的内容和特征，以及对语义和语法的理解，生成与图像相关的描述性标题。图像标题生成在许多领域有广泛的应用，包括图像搜索、图像标注、图像检索等。通过自动化生成标题，可以提高图像的可理解性和搜索引擎的准确性，为用户提供更好的图像检索和浏览体验
表 2 显示了在 coco 和标有「详细描述」 任务（mm-it-cap）的 mm-it 数据集子集上的零样本图像字幕生成性能。可以看出， anymal 变体在这两个数据集上的表现都明显优于基线。值得注意的是，anymal-13b 和 anymal-70b 变体的性能没有明显差距。这一结果表明，底层 llm 能力对图像标题生成是一种人工智能技术，用于自动为图像生成相应的标题。这项技术结合了计算机视觉和自然语言处理的方法，通过分析图像的内容和特征，以及对语义和语法的理解，生成与图像相关的描述性标题。图像标题生成在许多领域有广泛的应用，包括图像搜索、图像标注、图像检索等。通过自动化生成标题，可以提高图像的可理解性和搜索引擎的准确性，为用户提供更好的图像检索和浏览体验任务的影响较小，但在很大程度上取决于数据规模和配准方法。
需要进行的重写是：对多模态推理任务进行人工评估
图 3 显示，与基线（llava：34.4% 的胜率和 minigpt4：27.0% 的胜率）相比，anymal 性能强劲，与人工标注的实际样本的差距较小（41.1% 的胜率）。值得注意的是，使用完整指令集微调的模型表现出最高的优先胜率，显示出与人类标注的响应相当的视觉理解和推理能力。还值得注意的是，blip-2 和 instructblip 在这些开放式查询中表现不佳（分别为 4.1% 和 16.7% 的优先胜出率），尽管它们在公开的 vqa 基准测试中表现出色（见表 4）。
vqa 基准
在表4中，我们展示了在hateful meme数据集、vqav2、textvqa、scienceqa、vizwiz和okvqa上的零样本性能，并与文献中报告的各自基准上的零样本结果进行了比较。我们的研究重点放在零样本评估上，以便在推理时最准确地估计模型在开放式查询上的性能
视频 qa 基准
如表 6 所示，研究在三个具有挑战性的视频 qa 基准上对模型进行了评估。
重新生成音频字幕
表 5 显示了 audiocaps 基准数据集上的重新生成音频字幕结果。anymal 的表现明显优于文献中其他最先进的音频字幕模型（例如，cider +10.9pp，spice +5.8pp），这表明所提出的方法不仅适用于视觉，还适用于各种模态。与 7b 和 13b 变体相比，文本 70b 模型表现出了明显的优势。
有趣的是，根据从anymal论文提交的方式、类型和时间推测，meta似乎计划通过其新推出的混合现实/元宇宙头显来收集多模态数据。这些研究成果可能会被整合到meta的元宇宙产品线中，或者很快应用于消费级应用中
更多详细内容请阅读原文。
以上就是多模态版llama2上线，meta发布anymal的详细内容。