苹果推出高效理解长视频的大语言模型SlowFast-LLaVA

Source

品玩8月25日讯,据9to5mac 报道,苹果研究团队开发出适配版 SlowFast-LLaVA 模型,在长视频分析理解任务上表现超越更大规模模型。

该模型通过双流架构优化视频处理效率,慢流以低帧率捕捉场景细节,快流以高帧率追踪动作变化,解决了传统模型逐帧分析导致的信息冗余与上下文窗口溢出问题。其 10 亿、30 亿和 70 亿参数版本在 LongVideoBench 等长视频基准测试中均创佳绩,10 亿参数模型在 General VideoQA 任务中达 56.6 分,70 亿参数模型在 Long-Form Video Understanding 任务中获 71.5 分,且在图像理解任务如知识推理、OCR 等方面表现出色。

目前模型输入帧长限制为 128 帧,存在可能遗漏关键帧等局限。团队表示将探索内存优化技术提升性能。该模型基于公开数据集训练并开源,为长视频理解提供了新的高效解决方案。