苹果新AI模型长视频理解夺冠，小至1B版本也领先对手

8月23日消息，科技媒体9to5Mac今天发布博文，报道称苹果研究团队开源SlowFast-LLaVA-1.5长视频多模态大语言模型，在1B、3B、7B参数规模下，均刷新LongVideoBench、MLVU等SOTA基准纪录。

援引博文介绍，当前大语言模型在处理和理解视频方面，通用做法是在AI预训练中集成视频感知，但这种做法存在以下3重局限性：

现有模型往往严重依赖长上下文窗口，而处理时通常会遇到大量冗余帧，易超出上下文窗口限制，从而丢失信息。

大多数训练需要复杂的多阶段训练管道（通常使用私有数据集），难以重现。

许多模型仅针对视频任务优化，限制了在图像的理解，从而降低通用模型的实用性。

苹果公司针对上述3个局限性，首先研究推出了SlowFast-LLaVA开源模型，最大的亮点是创新双流（two-stream）设置，其中“慢流”选取少量高分辨率帧捕捉场景细节，“快流”选取更多低分辨率帧追踪运动变化。

苹果进一步在开源模型SlowFast-LLaVA模型上，通过微调图像模型，进一步增强视觉推理能力，再联合图像与视频训练，保留图像理解优势，推出了SlowFast-LLaVA-1.5版本。

在设计上，SF-LLaVA-1.5将输入视频帧数固定为128，其中快流96帧，慢流32帧，适配各种时长视频。这种方法虽可能漏掉关键帧或影响播放速度判断，但显著降低了计算和显存需求。研究团队指出，可通过引入内存优化技术（如随机反向传播）进一步改进，但需解决高显存占用问题。

测试显示，该模型在长视频基准LongVideoBench、MLVU上均取得新纪录，而且1B版本也能领先竞争对手。同时，它在知识问答、数学推理、OCR等图像相关任务上表现出色，实现视频与图像的通用理解能力。

该项目完全基于公开数据集训练，方便学术与产业复现，并已在GitHub与HuggingFace开源。