“I”:视频输入。GPT-4V对视频的理解还相当原始，因为它将视频视为一系列离散图像。减少信息冗余的最聪明方法是什么?学习目标应该是什么?下一帧预测与下一个单词预测有着明显的类比关系，但它是否是最佳的?如何与语言交错?如何引导机器人和人工智能的视频学习?业界尚未达成共识。
新鲜AI产品点击了解：https://top.aibase.com/
3. ⚙️ 新资金将用于扩大Robin AI在美国和亚太地区的业务。
另外，BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型，已经在多个基准测试中优于LLaVA213B。这三种开源视觉模型在视觉处理领域具有极大的潜力。
CogAgent作为在CogVLM基础上改进的开源视觉语言模型，拥有更多的功能和性能优势。它支持更高分辨率的视觉输入和对话答题，能够处理超高分辨率图像输入。