为什么要在边缘做推理

把摄像头画面全都传回云端做识别，带宽贵、延迟高、还容易断网。边缘 AI 就是把一个轻量模型放到网关或设备本地：现场拍、现场算、只把结果（比如「检测到异常」）上传。延迟降到毫秒级，带宽省掉一大截，弱网也能跑。

边缘推理的价值：低延迟、省带宽、保护隐私、断网可用。
典型场景
  • 视觉检测产线缺陷本地识别。
  • 语音唤醒设备本地判关键词。
  • 预测性维护传感器异常本地预警。
边缘 AI 推理配图：中央芯片形状的发光处理器轮廓，内部有神经网络光点，四周光路连接若干小型终端面板
芯片居中，神经网络光点在内，终端在四周。

模型从云端到边缘

模型先在云端用大数据训练好，再导出成 ONNX、TFLite 或专用格式。边缘设备算力和内存都有限，直接搬云端模型往往跑不动，必须先压缩、再量化，最后用边缘推理引擎加载。

模型压缩与量化

量化是把 32 位浮点权重压成 8 位整数，模型体积缩到四分之一，推理还更快，精度损失通常很小。剪枝、蒸馏再配合使用，能把大模型压到边缘设备能承受的大小。

// 伪代码：加载量化模型并推理
engine.load("model_int8.tflite");
result = engine.run(inputFrame);

推理引擎选型

常见选择：TFLite 适合手机和安卓设备；ONNX Runtime 适合 x86 网关；带 NPU 的芯片（如瑞芯微、英伟达 Jetson）要用厂商的 SDK 把模型编译到专用加速单元。选引擎主要看目标硬件有没有对应加速。

端侧部署流程

标准落地流程：云端训练 → 导出 ONNX → 量化压缩 → 用目标硬件 SDK 编译 → 部署到网关/设备 → 现场采集数据回流 → 迭代再训练。模型要能远程热更新，别指望人到现场换。

落地五步
  • 训练云端大数据建模。
  • 压缩量化剪枝到可部署。
  • 编译适配目标硬件加速。
  • 部署远程下发到边缘。
  • 回流现场数据再迭代。