新的AI技术加快了边缘设备上的语言模型

给大家分享一篇关于互联网和手机的文章。相信很多朋友对互联网和手机还是不太了解，所以边肖也在网上搜集了一些关于手机和互联网的相关知识与大家分享。希望大家看完之后会喜欢。

来自麻省理工学院计算机科学与人工智能实验室(CSAIL)和麻省理工学院-IBM Watson AI实验室的研究人员最近提出了硬件感知转换器(HAT)，这是一种结合谷歌Transformer架构的AI模型训练技术。他们声称，在树莓Pi 4等设备上，HAT可以实现3倍的推理速度，与基准相比，模型尺寸缩小了3.7倍。

谷歌的Transformer由于其先进的性能被广泛应用于自然语言处理(甚至一些计算机视觉)任务。然而，由于其计算成本，在变压器上部署变压器仍然具有挑战性。在树莓Pi上，翻译一个30字的句子需要13gb(每秒10亿次浮点运算)，需要20秒。这显然限制了这种架构对于开发人员和公司将语言AI与移动应用和服务相集成的有用性。

研究人员的解决方案采用了神经架构搜索，这是一种自动人工智能模型设计的方法。HAT通过首先训练包含许多子变压器的“超级变压器”来搜索由边缘设备优化的变压器。然后，同时训练这些子变压器，使得一个子变压器的性能可以为从头开始训练的不同架构提供相对性能近似。最后一步，在硬件延迟有限的情况下，HAT进行进化搜索，寻找最佳子变压器。

为了测试HAT的效率，合著者实验了四个机器翻译任务，包括16万到4300万对训练句子。对于每种型号，他们测量了300次延迟，去掉最快和最慢的10%，然后平均剩下的80%，然后在树莓Pi 4、英特尔至强E2-2640和英伟达Titan XP显卡上运行该卡。

根据该团队的说法，HAT识别的模型不仅在所有硬件上的延迟都比常规训练训练的Transformer低，而且在单个Nvidia V100显卡上训练184到200小时后，在流行的BLEU语言基准测试中的得分也更高。与谷歌最近提出的Evolved Transformer相比，一个模型小了3.6倍，但计算成本低了12041倍，没有性能损失。

合著者写道：“为了在资源受限的硬件平台上实现低延迟推理，我们建议使用神经架构搜索设计[HAT]。”他指出，HAT可以在GitHub上开源获得。“我们希望hat能够为实际应用中有效部署变压器开辟道路。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！