大模型之家讯 有网友指出,谷歌发布的Gemini技术报告中存在多处引起争议的地方。在MMLU测试中,Gemini的结果标有“CoT@32”(思维链提示技巧,尝试了32次选最好结果),而与之对比的GPT-4则是无提示词技巧给5个示例,因此存在测试标准的失衡。此外,对于Gemini的演示视频,一些观察者指出其中的文字免责声明可能意味着展示的是精心挑选的好结果,而非实时录制。此事引发了关于Gemini实际性能和展示方式的争议。谷歌也在博客文章中解释了多模态交互过程,几乎承认了使用静态图片和多段提示词拼凑,以实现视频中的效果。这一争议引起了对Gemini真实性能的质疑。