AI能理解人的价值观吗?

新闻

作者：陪伴记录成长
王忠坤的听书笔记  陪伴你的第1126天

2023.11.19

注：笔记和原书不完全一致，参考时请回原书确认。

《人机对齐》

作者及背景：布莱恩•克里斯汀，长期关注计算机科学的前沿动态

分类：人工智能45

“人机对齐”是让AI和人的价值观保持一致，也就是让人工智能更像个人。

一、视野受限的偏见

2015年，谷歌图片网站借助AI技术自动给照片打标签，方便用户搜索照片，但把一位黑人的照片打上了大猩猩的标签，谷歌公开道歉。出现问题的原因不是AI歧视黑人，而是背后的算法。因为谷歌的工程师中黑人比较少，所以谷歌用来训练AI的图片库中，黑人图片没有白人图片多，AI在看到不熟悉的东西时，更容易出错。修正AI这种偏见的难度比我们想象中要大很多，谷歌后来也没能从技术上解决这个问题，他们只能禁止了“大猩猩”这个标签，用户就算上传真的大猩猩图片，AI也不会给图片打这个标签了。

这种AI算法叫做监督学习，让AI先学习已经标记好特征的内容，作为接下来工作的指导。时间有限、成本有限，不可能让AI看遍世界上所有的图片，那么开发者只能选择自己认为有代表性的。有选择，就意味着可能产生偏见。要消除这样的偏见，重要的是公开AI训练所用的数据集，让别人来监督它是否有代表性。如果训练出来的AI将会影响很多人，那么应该让这些人了解，训练AI时选择的素材是否考虑了所有人。

二、源头隐藏的偏见

谷歌从报纸杂志和互联网获得了大量语言数据，让AI自己去寻找词语和词语之间的联系。后来科学家发现了问题，AI会把职业和性别关联起来，认为某些职业天生适合男性，某些职业天生适合女性，这也不是AI的歧视，而是人们的偏见。如果用这种AI筛选简历，它就会认为公司需要更多男性工程师，在筛选时刷掉更多女性。即使强行去掉性别这一项，AI还是会用名字、兴趣爱好和毕业院校来推测面试者性别，它甚至能发现男女在写作风格上的些许不同。

以上的方法叫做无监督式学习，喂给AI数据，让它自主发现联系。设计这种算法的目的，本身就是捕捉数据中隐藏的相关性。因为不受控，有时会出现奇思妙想，有时会出现胡思乱想，就算是能客观体现人们以往的想法，但是如果之前的想法中本身就带有偏见，这种偏见就很难根除。

三、当下行为的偏见

第三种AI学习方法叫“强化学习”，AI每做出一个决定，都给它一个反馈。类似训练运动员，动作出错了就马上纠正。潜在的问题是让AI过于专注“动作”，而忽略了背后的“愿景”。像公司的员工每天兢兢业业完成任务，但并不关心是否能给公司带来收益，但也不能说员工没有责任心，有时是老板不知道任务，他自己也未必想清楚了。

四、如何消除偏见？

1. 模仿：如果场景复杂，没法制定详细的奖惩规则，那就让人类示范，AI模仿，让AI慢慢消化我们的价值观。比如自动驾驶的AI没法理解“在保持安全的情况下尽快开过去”，就找一位优秀的司机示范，尤其是复杂的路况下，比如有人横穿马路，模仿人类司机是怎么处理的，让AI去学习。

2. “逆强化学习”：强化学习是规则不变，AI琢磨应该怎么行动，这可能让AI钻规则的空子。而逆强化学习，是AI看别人打游戏，它看到玩家向前走、向后走，然后分数在变化。让AI去猜想，到底这个游戏是个什么规则。然后看AI眼中，我们制定的规则是什么样的，和我们想象中的愿景是否一致，不一致的话应该怎样改进。我们的目标是“对齐”，如果只从人类这边看问题，可能是不够的。还得从AI这边，看看它是怎么理解的。

问题：面对一个内部结构未知黑箱，外部的调整能多大程度影响内部，如何设置测试方法和检验标准？

==================================


​
这是今天早上北京的天空。

==================================

欢迎关注公众号“陪伴记录成长”，《得到》听书笔记，陪伴你成长。