2021年12月30日最新消息:优步研究人员调查AI是否能遵守伦理

AI能伦理吗？这是优步研究人员在这篇预印论文中必须回答的棘手问题，这篇论文试图将道德哲学的见解转化为强化学习领域——机器学习，软件代理应该如何在环境中采取行动以最大化他们的角色与他们的回报有关。

虽然强化学习是一种强大的技术，但它通常必须被限制在现实和非结构化的环境中，以便它不会执行不令人满意的糟糕任务。(例如，机器人吸尘器不应打碎花瓶或伤害家猫。)经过强化学习和训练的机器人在能够伤害或帮助他人的范围内特别具有道德意义。意识到这一点，优步团队考虑了代理人不应该遵循单一伦理理论(如功利主义、义务论和美德伦理学)的可能性，代理人不应该确定哪种理论适合给定的环境。

研究人员推测，“机器学习可能在其中发挥重要作用”。“可以训练分类器来识别与道德相关的事件和情况，例如人身伤害或其潜在性、对人和动物的情绪反应以及违反法律或.规范。”

合著者认为，道德理论的相关特征是它对某些行为及其在环境中的结果的偏好。他们给理论赋予一定的可信度，以表示理论中代理或代理设计者的信任程度，他们使用标准框架(markov决策过程)的修改版本，其中代理可以处于任意数量的状态，并采取行动到达其他状态。

研究者建议伦理理论可以按照比例原则来对待。在这种理论下，理论的影响力只取决于其可信度，而可信度与最终决策中其选择价值的具体细节不成正比。基于此，他们设计了几个系统，代理可以使用这些系统来选择理论，然后在四个相关的网格世界环境中进行比较，以了解各种系统之间的差异。

所有的环境都处理电车问题，其中一个人(或代理人)被迫决定是牺牲几条生命还是一条生命。在网格世界中，手推车通常在每个时间步长都向右移动。如果代理人在到达轨道上的岔口时站在开关砖上，手推车将被重定向并撞击旁观者，从而造成伤害。或者，代理人可以将一个大个子推到轨道上并伤害他，但要停止推车。(警卫可以保护这个人，在这种情况下，代理人必须对警卫撒谎。否则，小车继续向前移动，与变量“x”代表的人发生碰撞。

研究人员认为，行为人试图最大化预期选择价值，会在功利主义(包括所有危害)理论和义务论(只计算代理人造成的危害)之间产生不一致的结果。然而，这取决于义务论是按1还是10的比例缩放。研究人员试图调和功利主义和义务论使用的不同单位。

另一方面，依赖纳什投票技术的代理总是可能选择最有信誉的理论。这是因为纳什投票反对股权敏感度的概念，因为随着“X”的增加，功利主义者转换选择的意愿被考虑得更多。纳什在投票时也未能妥协——他总是忽略“切换”选项，在面临以下选择时，只选择推大个子或者什么都不做：(1)让大车撞到大量的人，(2)将大车重定向到两个人站的不同轨道，或者(3)推人。

总结通过Q学习(一种学习策略的算法，告诉代理在什么情况下采取什么行动)获得的偏好的代理将遭受一种称为控制错觉的现象。Q learning含蓄地认为，政策行动将是报酬最大化的行动，但实际上，偏好的下一个行动可能会根据不同的理论而有所不同。在有轨电车问题中，Q学习代理经常选择不对该男子撒谎，因为代理错误地认为他可以在下一步帮助该男子。

实验结果似乎暗示了一系列可能的算法，涵盖了道德不确定性下决策竞争选择之间的权衡。研究人员怀疑最适合给定领域的算法可能取决于理论和领域本身的特殊性，这就是为什么他们计划在更复杂的领域测试算法的道德不确定性(和一般的机器伦理)。

除了这篇优步论文，Mobileye、Nvidia、DeepMind和OpenAI也发表了关于加强学习技术中的安全约束的工作。DeepMind最近研究了一种奖励建模的方法，该方法分两个阶段运行，适用于代理不知道不安全状态可能在哪里的环境。OpenAI自己发布了Safety Gym，这是一套开发AI的工具。它尊重训练中的安全约束，并比较算法的安全性和这些算法避免学习错误的程度。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！