LiteRT-LM：Google边缘设备大语言模型推理框架

核心功能与应用场景

LiteRT-LM是Google推出的生产级、高性能开源推理框架，专为在边缘设备部署大语言模型设计。支持跨平台运行于Android、iOS、Web、桌面及IoT设备（如Raspberry Pi），通过GPU和NPU硬件加速提升性能，并支持视觉与音频多模态输入。
WinDiscover
LiteRT-LM：Google边缘设备大语言模型推理框架 - WinDiscover
LiteRT-LM是Google推出的开源推理框架，支持在边缘设备部署大语言模型，涵盖多平台、硬件加速、多模态支持，适用于Android、iOS、Web及IoT设备
 
 
Back to Top