谷歌新API实现手机PC大模型端侧运行

大模型之家讯今天，谷歌正式发布了MediaPipe LLM Inference API，该API可以让开发人员更便捷地在手机、PC等设备上本地运行AI大模型。
谷歌对跨设备堆栈进行了重点优化，包括新的操作、量化、缓存和权重共享。谷歌称，MediaPipe已经支持了四种模型：Gemma、Phi 2、Falcon 和Stable LM，这些模型可以在网页、安卓、iOS设备上运行，谷歌还计划将这一功能扩展到更多平台上。