加入收藏 | 设为首页 | 会员中心 | 我要投稿 保山站长网 (https://www.0875zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

物联网解决方案你需要了解的基础知识

发布时间:2021-02-19 15:48:06 所属栏目:传媒 来源:互联网
导读:Python API 前端 在设计 API 时,研究者制定了以下两个设计目标来达到必要的功能: 非侵入式:对应用提供的 API 必须是非侵入式的; 拦截式:API 需要允许拦截各种信号并立即触发适当的算法。 分布式数据并行化旨在使用更多的计算资源来加速训练。 根据以上

Python API 前端

在设计 API 时,研究者制定了以下两个设计目标来达到必要的功能:

非侵入式:对应用提供的 API 必须是非侵入式的;

拦截式:API 需要允许拦截各种信号并立即触发适当的算法。

分布式数据并行化旨在使用更多的计算资源来加速训练。

根据以上需求,研究者用 nn.Module 实现了分布式数据并行。nn.Module 采用本地模型作为构造函数的参数,并在反向传播中透明地同步梯度。下面的代码是使用 DDP 模型的示例:

 

PyTorch 是深度学习研究和应用中广泛使用的科学计算包。深度学习的最新进展证明了大型数据集和大型模型的价值,这需要扩展模型训练更多计算资源的能力。

同时,由于简明的原理和广泛的适用性,数据并行已经成为了分布式训练的一种热门方案。通常,分布式数据并行技术会在每个计算资源上复制模型以独立生成梯度,然后在每次迭代时传递这些梯度以保持模型副本的一致性。尽管该技术在概念上很简单,但计算和通信之间的细微依赖关系使优化分布式训练的效率变得不简单。

因此,在这篇论文中,来自 Facebook AI 和华沙大学的研究者介绍了 PyTorch 分布式数据并行模型的设计、实现以及评估。

从 v1.5 开始,PyTorch 自身提供了几种加速分布数据并行的技术,包括分桶梯度(bucketing gradients)、通信重叠计算(overlapping computation with communication)以及跳过梯度同步(skipping gradient synchronization)。相关评估结果显示,在配置正确的情况下,PyTorch 分布式数据并行模型可以用 256 个 GPU 达到接近线性的可扩展性。

接下来,我们来看 PyTorch 分布式数据并行训练的模型设计、具体实现和效果评估。

系统设计

PyTorch 提供了一个数据分布式并行(DistributedDataParalle, DDP)模型来帮助实现在多个进程和机器的并行训练。在分布训练期间,每个模型都有自己的本地模型副本和本地优化器。就纠错而言,分布式数据并行训练和本地训练在数学上必须是等价的。

下图 1 描述了 DDP 构造块的组成,其中包含一个 Python API 前端和 C++ 梯度下降核心算法,并采用了 c10d 聚合通信库。




据钜亨网报道称,晶圆代工龙头台积电已经向美国政府递交意见书,希望在美国针对华为禁令的120天的宽限期之后,能够继续为华为代工芯片。另外,据业内消息称,高通也已经向美国政府递交了继续向华为供货的申请。

今年5月15日,美国政府公布了针对华为的最新禁令。根据该禁令,只要是华为设计的半导体,是美国商业控制清单上的软件(比如EDA软件)和技术的直接产品,或者是美国半导体设备的直接产品,在交付给华为及其关联公司之前都必需要得到美国的许可证。

也就是说,如果没有美国的许可证,华为及其关联公司将不能使用美国的软件和技术设计芯片,也不能利用美国的设备来生产芯片。这也使得台积电等晶圆代工厂无法利用美国半导体设备来为华为代工自研芯片。

而为了避免台积电等晶圆代工企业的利益受损,该禁令还给出了120天的缓冲期。即台积电等晶圆代工厂商,已经根据华为设计规范启动的生产项目,只要这些生产的芯片在新规正式生效120天内交付给华为,就不需要向美国申请许可证。

不过,120天之后,台积电如果想继续供货华为,就必须取得美国政府发放的许可证。

需要指出的是,美国政府5月15日公布针对华为的新的禁令后,也开放了意见征集,业界最晚可在7月14日前提交有关意见。

最新的消息称,台积电已向美国政府递交了意见书,希望能够继续向华为供货。

根据之前的数据显示,华为2019年为台积电贡献了1528.76新台币(约51亿美元)的业绩,年增逾8成,占台积电总营收比重达14%,已成为台积电第二大客户。因此,台积电自然会力求恢复对华为供货,以保障自身利益。

另外,根据业内的消息,高通也已经向美国政府递交了意见书,同样希望恢复对华为的供货。近日,一份外资报告也显示,高通在持续与美国政府沟通,并对恢复对华为出货信心有提升。

业内资深人士@手机晶片达人 也在微博上爆料称:“最近高通在台积电和三星都增加了不少订单,不知道高通是否有拿到什么美国政府的内部消息?”

那么,美国会批准台积电和高通的申请,允许它们继续向华为供货吗?

我们先来看看目前的局面。在美国新的禁令公布之后,台积电、中芯国际都表示无法继续利用美系设备为华为代工芯片,三星也否认了为华为打造不含美系设备的产线的传闻。

在自研芯片生产受阻的背景之下,华为不得不加大了对于第三方非美系芯片的采购力度。这也使得联发科直接受益。比如近期华为就推出了多款采用联发科天玑800系列的新机。业内消息称,近期华为对联发科芯片的采购订单增长了300%。

与此同时,高通等美系半导体芯片厂商以及含有美国技术25%的芯片厂商,已经因为之前的出口禁令,没法向华为供货,使得华为不得不采用日韩欧以及国产芯片来进行替代。

那么,从之前的禁令和最新升级的禁令来看,这不等于美国忙活半天,为日韩欧及中国芯片厂商拉生意?让自己美国的芯片厂商干瞪眼?美国这是什么“蜜汁操作”?

接下来美国可能会放开很多国产芯片可替代的美国芯片厂商,给他们发放许可,让这些厂商可以与华为做生意,并促使华为增加使用美系芯片。

这样华为可以继续维持运转,但是却等于是废了华为的武功(无法用自研芯片),然后让其开始依赖美系芯片(指的是那些可以被替代,但是目前相比国内芯片仍然有一定的优势的美系芯片),从而使其产品失去技术领先性,失去市场的领先地位。

那么,美国可能将不会允许台积电继续为华为代工芯片,因为这是堵死华为更为先进制程的自研芯片的发展之路的最佳手段。

如果美国政府允许台积电继续替华为代工,那么华为将基本恢复至新禁令公布之前的状态,先进芯片的制造将会恢复,虽然为了在先进芯片的设计上可能还是有些阻力,但是并不是像芯片制造受阻那样的“致命”。但如果美国政府真的这么做,那么当初又何必推出新的禁令呢?



(编辑:保山站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读