从健身软件泄露军事机密

嵌入式部署方式具有实时响应、网络开销低、隐私保护、能耗比高等优势；但同时，由于边缘设备种类繁多，适配部署难度较高。

在一项百度和波士顿咨询公司的联合调研中，我们发现在有定制业务模型需求的客户中，超过35%的场景有离线边缘计算的需求。而如上文所述，端计算由于设备的多样性，研发和部署成本相比云部署更高，且往往实际业务场景对在端上运行的模型的时延和稳定性也会有极高的要求。因此，如何将定制好的模型部署到各类端设备上是一个技术难题。

为了满足开发者对部署形式多样化的需求，百度大脑一站式AI开发平台EasyDL支持多种部署方式，包括公有云部署、本地服务器部署、设备端SDK和软硬一体解决方案。EasyDL是基于飞桨推出的面向企业打造的一站式开发平台，提供智能标注、模型训练、服务部署等全流程功能，内置丰富的预训练模型，全面支持飞桨Master模式，面向不同人群与需求提供经典版、专业版、零售版三个版本。

EasyDL支持的多种部署方式，适用于各类业务场景与运行环境，便于开发者根据需求灵活选择，其支持的设备也非常丰富，从最常见的x86、ARM、Nvidia-GPU，到NPU、FPGA，支持超过10类硬件。由于百度飞桨深度学习平台相关功能的支持，EasyDL具备强大的端计算部署能力，在生成端计算模型时，会经过一些列的优化、加速、压缩功能。

对于这一系列能力的讲解，可以从网络结构层面和芯片能力两方面入手。

在网络结构层面，会进行op融合（如conv-add-relu，conv-bn等）、fp16/int8量化、模型裁剪等优化。

以近期上线的ARM定点量化为例，其优点包括低内存带宽、低功耗、低计算资源占用。在一些网络中，可以带来4倍的模型压缩、4倍的内存带宽提升，以及更高效的cache利用。在很多场景中，定点量化不会对网络精度造成额外损失。量化主要分为两大类：Post Training Quantization和Quantization Aware Training，前者是使用KL散度等方法确定量化参数且不需要重新训练的定点量化方法，后者是对训练好的模型做再训练，建模来确定量化参数。在量化训练过程中，前向传播的工作流可以表示为如下方式：

 

从科研、金融、零售到工业、农业等越来越多的行业与业务场景正在应用人工智能提升效率，降低成本。人工智能在产业升级、改善人类生活等方面发挥着越来越重要的作用。当开发者部署AI模型时，会面临一个使用场景的问题：不同的使用场景和业务问题中对模型的部署方式要求不同。

AI模型有着多样化的部署方式，常见的模型部署形态分为两种：服务器部署和嵌入式部署。服务器部署指的是将模型部署在CPU/GPU上，形成可调用的API接口，根据需要可选择云服务器部署和本地服务器部署；嵌入式部署指的是部署到边缘侧或端侧的嵌入式设备中，进行单机离线运行。下表对比了这两种部署方式的特性。当用户的模型应用场景没有网络覆盖，或是业务数据较为机密，或是对预测延时要求较高时，往往会选择嵌入式部署方式。

 

道路安全系统

非机动车辆安全管理系统，定点归还和Hermes路面安全系统利用AI、大数据、云基础设施和物联网(IoT)。哈罗表示，其最新技术开创了中国自行车共享产业的“ 3.0时代”：“一种新型模式，将共享自行车有机地整合到城市公共交通生态系统中”。

通过加强交通服务提供者与市政府之间的合作，在3.0时代提供了系统的机制来帮助中国城市应对独特的运营挑战、应对停车管理并简化共享自行车的部署和分配。

车辆安全管理系统：哈罗出行基于从大数据中收集的信息，发现使用非机动车辆会导致混乱，不安全的路况。为了解决这个问题，它与地方政府合作开发了适合每个城市独特交通状况的非机动车辆安全管理系统。

哈罗出行使用视频AI技术进行数据收集和情况分析以及空间数据，旨在帮助城市建立基于数据可视化、智能数据处理和智能决策应用的新型车辆管理系统。

定点归还：哈罗出行与城市政府合作，通过共享的自行车管理运营计划来改善交通安全、简化停车并改善城市市容。 哈罗出行使用电子围栏、蓝牙路钉、人工智能和物联网建立了许多方便的定点归还地点。定点归还鼓励用户将车停在指定位置，同时使工作人员更容易在整个城市中查找和重新分配车辆。

Hermes路面安全系统：该系统集成了AI算法，可为用户提供更好、更安全的共享运输体验。作为基于场景的解决方案构建的，Hermes在骑行的开始、中间和结束时自动对用户行为和自行车执行故障安全测试。如果系统检测到技术问题，危险的操作或违反用户的行为，哈罗出行会通过自行车的内置扬声器向用户发出风险警告。



 

（编辑：保山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!