加入收藏 | 设为首页 | 会员中心 | 我要投稿 保山站长网 (https://www.0875zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 评论 > 正文

IT巨头勒索软件被勒索

发布时间:2021-02-10 14:00:29 所属栏目:评论 来源:互联网
导读:在某些情况下,变化可能包括根据员工迁移地点降薪15%或更多。 报道称,新出现的减薪行动将在世界上一些最赚钱的企业和享有高薪的熟练技能员工之间制造紧张关系。 各公司指出,根据当地生活成本改变工资是包括联邦政府在内的许多机构的标准做法决定提高或降低

在某些情况下,变化可能包括根据员工迁移地点降薪15%或更多。

报道称,新出现的减薪行动将在世界上一些最赚钱的企业和享有高薪的熟练技能员工之间制造紧张关系。

各公司指出,根据当地生活成本改变工资是包括联邦政府在内的许多机构的标准做法——决定提高或降低与住房成本和其他因素有关的工资。让一个人拿着旧金山的薪水到怀俄明州去,对现在和未来在生活成本更低的城市远程工作、可能拿着更低工资的人来说是不公平的。

但多年来,硅谷企业一直超越了企业标准规范,以保持员工忠诚度。在公司为软件工程师免费提供食物、按摩和瑜伽工作室的时代,基于地理位置支付薪酬的冷酷合理性可能会疏远惯于被讨好的员工。
 

不过,他也表示,从总体背景来看,GPT-f 在ATP方面应用是有意义的进展,这项研究与该领域其他专家正在进行的大量研究进展相符。

事实上,基于 Transformer架构的GPT-3模型虽然在文本生成方面具有强大性能,但其始终未通过图灵测试,而且它在简单的数学推理方面存在明显的缺陷。

对于同样基于Transformer模型的GPT-f也难免陷入这样的质疑,即语言模型是真正理解了数学定理之间的逻辑关系,还是只是这一模型只是简单理解了语意?
 

证明助理可以自动生成大多数Metamath证明所需的各种简单技术验证步骤,它通过将现有定理调整到用户所需的搜索库,并建议使用定理。

即使推荐的定理存在错误,GPT-f模型通常也会选择正确的定理,而错误的定理通常很容易被人类修正。

证明助手也已经在Metamath社区中应用。研究人员表示,他们其目的是希望帮助社区提高效率的同时,通过自动收集用户反馈,反过来帮助他们提高模型的准确性。

语言模型解决逻辑问题,真的靠谱吗?

对于这项研究成果,Twitter上引起了不少网友和大佬们的关注讨论。其中也有部分人对GPT-f在数学定理方面的应用表示了质疑。

如一位网友表示,不要高估GPT-f,神经网络是很好的模式发现者,但它也只是一个模式发现者,而不是算法的发现者。
 

另外,需要说明的是,研究人员向Metamath数学库提供了23个定理的简化证明,这些证明全部是由GPT-f自动验证器生成的。为了发现更简短的证明方式,研究人员从set.mm库中采样命题证明,并对比GPT-f模型找到的解与真值的长度,由此也验证了简短证明不依赖于额外定理。

在GPT-f中,在线证明助理可以辅助模型进行交互式证明构建。论文中,研究人员用它形式化了200多个定理和练习,结果发现模型的性能表现大幅提升。
 

该研究采用 Metamath 作为形式环境。Metamath 的主库叫做 set.mm,包含基于 ZFC 集合论的约 38000 个证明。

需要注意的是,执行证明搜索需要与Metamath模型紧密耦合。在这里,研究人员用Python创建了一个Metamath内核,内核包含一个修改过的LR(0)解析器,用于检查模型生成的术语是否符合Metamath语法,以及实现Metamath替换,并以此来表示证明树的目标和策略对象。

总的来说,这个证明搜索过程和与它绑定的Metamath形式验证器共同构成了GPT-f自动验证器。

实验结果表明,尽管训练数据集的大小有限,但模型大小对GPT-f性能依然有正向影响。从下图来看,模型越大,训练和基准测试时使用的计算越多。
 

除此之外,论文中显示,GPT-f在自动定理证明领域还取得了以下新的发现:

  • 生成式预训练可以显著提高模型性能,而相比于对网页上的通用文本进行预训练,对数学数据进行预训练会带来更好的性能。

  • 模型大小与性能表现呈正相关,即使所采用的Metamath数据集相对较小。

  • 研究发现,语言模型生成的语句上迭代地训练一个值函数可以提高证明程序的性能,由此提出了一个持续自我改进的策略:基于证明器生成的证明不断训练。

  • 利用Metamath环境测试,GPT-f模型证明了Transformer架构在形式推理方面的可行性。

接下来,我们来详细看一下GPT-f 的工作原理

基于自动证明器和证明助理的模型

论文中显示,研究人员使用了类似 GPT-2 和 GPT-3 的纯解码器Transformer,最大的模型有 36 层、7.74 亿个可训练参数。

基于该语言模型,GPT-f为 Metamath 形式化语言提供了自动证明器和证明助理(Proof Assistant)两个部分。

自动证明器的核心在于证明搜索过程。证明搜索包含维护一个证明树,它是从根目标开始探索每个目标的多种策略。而目标由累积对数概率(Logprob)的优先级进行扩展。

(编辑:保山站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读