去年，Google AI Edge 开始在 Android、iOS 和 Web 平台支持设备端小型语言模型 (SLM)，最初仅包含 4 种模型。今天，我们很高兴能将支持范围扩展至十余种模型，其中包括最新的 Gemma 3 和 Gemma 3n 模型，这些模型均托管在我们新建立的 LiteRT Hugging Face 社区中。
Gemma 3n 是一种通过 Google AI Edge 作为早期预览版提供的模型，也是 Gemma 的首个多模态设备端小型语言模型，支持文本、图像、视频和音频输入。结合我们新推出的检索增强生成 (RAG) 和函数调用库，您将获得在边缘设备上创建原型和构建变革性 AI 功能所需的一切。
您可以在 LiteRT Hugging Face 社区查看持续扩充的模型列表。下载任意模型后，您只需编写几行代码即可在设备端轻松运行这些模型。我们已针对移动端和 Web 端对这些模型进行了全面优化和转换。如需获取有关如何运行这些模型的完整说明，请参阅我们的文档和 Hugging Face 上的各个模型卡。
若要自定义任意此类模型，您可以对基础模型进行微调，然后使用合适的 AI Edge 库对其进行转换和量化。我们提供的 Colab 教程会逐步演示微调和转换 Gemma 3 1B 的整个过程。
我们在最新发布的量化工具中提供了全新量化方案，能实现更高质量的 int4 训练后量化。相较于多种模型的默认数据类型 bf16，int4 量化可使语言模型大小减少 2.5-4 倍，同时显著降低延迟和峰值内存占用。
今年早些时候，我们推出了 Gemma 3 1B。该模型仅有 529MB，每秒可在移动 GPU 上预填充 2,585 个 token，不到一秒即可解析整页内容。Gemma 3 1B 占用空间小，可与各类设备适配，并能有效控制最终用户需要下载的文件大小。
今天，我们很高兴能够将 Gemma 3n 的早期预览版添加到我们支持的模型集合中。2B 和 4B 参数变体均将支持原生文本、图像、视频和音频输入。文本与图像模态现已登陆 Hugging Face，音频支持也即将上线。
Gemma 3n 是企业案例的理想选择，开发者可以充分利用设备上提供的资源，在移动端部署更大模型。现场技术人员可以在没有网络服务的情况下拍摄零件照片并提问。仓库或厨房工作人员可在双手占用时通过语音更新库存。
我们为 Google AI Edge 引入的最激动人心的新功能之一在于为设备端检索增强生成 (RAG) 提供强力支持。您可以使用 RAG 为小型语言模型注入应用特定数据，而无需进行微调。无论是 1,000 页文档信息还是 1,000 张图片，RAG 都能协助用户找出最相关的数据片段并将其提供给模型。
AI Edge RAG 库兼容我们支持的所有小型语言模型。此外，该库可以灵活地更改 RAG 管道的任何部分，从而支持自定义数据库、分块方法及检索函数等。AI Edge RAG 库现已入驻 Android 平台，后续将在其他平台陆续推出。这意味着设备端生成式 AI 应用现在可以基于用户相关的具体信息运行，从而解锁一系列全新智能功能。
为使设备端语言模型真正具备互动能力，我们将推出设备端函数调用功能。AI Edge 函数调用库今日在 Android 平台首发，并将在更多平台陆续登陆。该库提供与设备端语言模型集成、注册应用函数、解析响应和调用函数所需的所有实用程序。请查看相关文件，亲自体验一下。
这项强大的功能使得您的语言模型可以智能判断何时在应用内调用预定义函数或 API。例如，我们在示例应用中演示了如何通过自然语言使用函数调用功能填写表格。例如，如果医疗应用收集预约前病史，用户可口述其个人信息。随后，该应用可借助函数调用库和设备端语言模型，将语音转文本，然后提取相关信息，并调用特定函数来自动填充对应字段。
函数调用库还可与我们的 Python 工具模拟库配合使用。该工具模拟库可通过生成及评估合成数据，协助您针对特定功能创建自定义语言模型，从而提高设备端函数调用的准确率。
我们将在边缘设备中持续支持最新且最出色的小型语言模型，包括新模态。敬请关注 LiteRT Hugging Face 社区，了解最新模型版本。我们的 RAG 和函数调用库将持续扩展功能与支持平台。
如需获取更多 Google AI Edge 动态，请阅读有关全新 LiteRT API 和全新 AI Edge 门户服务的报道，设备端基准测试和评估皆有覆盖。
请浏览本公告。所有 2025 年 Google I/O 大会动态将于 5 月 22 日在 io.google 公布，敬请关注。
此外，非常感谢以下 Google 员工在发布工作期间提供的支持：Advait Jain、Akshat Sharma、Alan Kelly、Andrei Kulik、Byungchul Kim、Chunlei Niu、Chun-nien Chan、Chuo-Ling Chang、Claudio Basile、Cormac Brick、Ekaterina Ignasheva、Eric Yang、Fengwu Yao、Frank Ban、Gerardo Carranza、Grant Jensen、Haoliang Zhang、Henry Wang、Ho Ko、Jae Yoo、Jiuqiang Tang、Juhyun Lee、Jun Jiang、Khanh LeViet、Kris Tonthat、Lin Chen、Lu Wang、Malini P V、Marissa Ikonomidis、Mark Sherwood、Matthew Soulanille、Matthias Grundmann、Mogan Shieh、Mohammadreza Heydary、Na Li、Pauline Sho、Pedro Gonnet、Ping Yu、Pulkit Bhuwalka、Quentin Khan、Ram Iyengar、Raman Sarokin、Rishika Sinha、Rishubh Khurana、Ronghui Zhu、Sachin Kotwani、Sebastian Schmidt、Steven Toribio、Suleman Shahid、T.J. Alumbaugh、Tenghui Zhu、Terry (Woncheol) Heo、Tyler Mullen、Vamsi Manchala、Vitalii Dziuba、Wai Hon Law、Weiyi Wang、Xu Chen、Yishuang Pang、Youchuan Hu、Yu-hui Chen、Zichuan Wei
