10月13日消息,苹果公司现已为旗下多模态大模型MM推出1.5版本,该版本模型基于前代MM1的架构,继续延续数据驱动的训练原则,重点研究在不同训练周期中混合不同类型数据对模型性能的影响。
该版本模型提供10亿-300亿多种参数规模,拥有图像识别和自然语言推理能力。苹果公司研发人员在新版本中改进了数据混合策略,显著提升了模型在多文本图像理解、视觉引用与定位(Grounding)以及多图像推理方面的能力。
此外,研究人员在监督式微调阶段分析了不同数据类型对模型表现的影响,优化了视觉指令微调数据的混合方式,从而为模型实现了更高的效率,团队表示,即便是小规模的模型(10、30亿参数版本)也能表现出色。
值得关注的是,苹果公司本次还推出了专门用于视频理解的MM1.5-Video模型和专门处理移动设备用户界面(UI)理解的MM1.5-UI模型,其中MM1.5-UI模型未来有望作为iOS幕后的“苹果牌”AI,其能够处理各种视觉引用与定位任务、总结屏幕上的功能,或者通过与用户的对话进行交互。
尽管MM1.5模型在多项基准测试中取得了优秀表现,苹果团队仍计划通过进一步融合文本、图像和用户交互数据,设计更复杂的架构,来提升模型对移动设备UI的理解能力,加强“苹果牌”AI的实力。