大模型之家讯 近日，苹果研究人员开发了一种新的AI系统ReALM，该系统可以理解屏幕上实体、对话和背景上下文的模糊引用，从而实现与语音助手的更自然的交互。ReALM的一项关键创新是使用解析的屏幕上实体及其位置来重建屏幕，以生成捕获视觉布局的文本内容。研究人员证明，这种方法与专门用于参考解析的微调语言模型相结合，可以在该任务上优于GPT-4。苹果研究人员在论文中写道：“让用户能够对屏幕上看到的内容发出查询，是确保语音助手真正免提体验的关键一步。”
大模型之家讯 近日，苹果研究人员开发了一种新的AI系统ReALM，该系统可以理解屏幕上实体、对话和背景上下文的模糊引用，从而实现与语音助手的更自然的交互。ReALM的一项关键创新是使用解析的屏幕上实体及其位置来重建屏幕，以生成捕获视觉布局的文本内容。研究人员证明，这种方法与专门用于参考解析的微调语言模型相结合，可以在该任务上优于GPT-4。苹果研究人员在论文中写道：“让用户能够对屏幕上看到的内容发出查询，是确保语音助手真正免提体验的关键一步。”