台积电、高通能否恢复对华为供货?
接下来,我们就来看 Harshit Tyagi 是如何一步步创建属于自己的机器学习项目任务清单的。 八步完成 ML 项目检查清单 几乎每个机器学习项目中都至少要执行 8-10 个步骤,其中一些步骤的执行顺序也可以互换。 步骤 1:从一个高水平的视角定义问题 执行此步骤是为了弄清楚问题的业务逻辑。你应该了解到: 问题的本质(有监督的 / 无监督的,分类问题 / 回归问题)。 你可以开发的方案类型。 应该用什么指标来度量性能? 机器学习是解决这个问题的正确方法吗? 解决该问题的手动方法。
该问题固有的假设。 任何科研项目都是系统性的,机器学习项目也不例外,它包含一系列大大小小、或繁或简的要素和组件,如讨论、准备工作、提出问题、模型构建和优化调整等。在这种情况下,开发者很容易漏掉一些重要的东西。 这时就需要对项目中经涉及到的任务做一份详尽的清单。有时开发者绞尽脑汁也无法找到一个好的起始点,那么任务清单则有助于他们在正确的信息源中提取有用的数据并建立联系,从而发掘出深刻见解。 此外,还需要对项目中的每项任务进行规划的检查,确保任务的完成度。 正如 Atul Gawande 在其著作《清单宣言:如何把事情做对》(Checklist Manifesto)中说到的: 我们所了解事物的数量和复杂度已经超出了自身从它们中正确、安全或可靠地获益的能力。
在本文中,网页和数据科学讲师 Harshit Tyagi 以端到端机器学习项目为例,对经常涉及的任务做了一份清单。 有趣的是,虽然两个较大的模型都看到了切换到混合精度的好处,UNet 从切换中得到的好处比 BERT 多得多。PyTorch 内存分配行为对我来说非常不透明,所以我不知道为什么会出现这种情况。 总结在即将发布的 PyTorch 1.6版本中,自动混合精度训练是一个易于使用且功能强大的新特性,该版本承诺将在最新的 NVIDIA GPU 上运行的大型模型训练工作加快60% 。 虽然这种技术已经存在了一段时间,但是对于普通用户来说还不是很容易理解,因为直到现在它还没有一个原生 PyTorch API。
要直接从源代码中了解更多关于混合精度训练的信息,请参阅 PyTorch master 文档中的automatic mixed precision package和automatic mixed precision examples页面。 (编辑:保山站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |