神译局是36氪旗下编译团队，重视科技、商业、职场、日子等范畴，要点介绍国外的新技能、新观念、新风向。
编者按：AI对人类未来的影响是一个热门论题，环绕这个论题的争辩正日益变得部落化。AI畅销书《人工智能：一种现代的办法》合著者Stuart Russell（斯图亚特·罗素）曾在该书的最终一章提出过这样的一个问题，并给出了一个不怎么遭到认可的答复。为此，他用一本新书《Human Compatible》来认真地再答复一次这样的一个问题。此文是Ian Sample对此书的评论，原文宣布在卫报上，标题是：Human Compatible by Stuart Russell review – AI and our future
制作比咱们更智能的机器或许是人类史上最严重的作业，也是最终一件事
这儿有个问题，科学家或许会常常问：要是咱们成功了该怎么办？也便是说，假如咱们完成自己的方针，国际会发作什么样的改动？研讨人员躲在办公室、试验室里能够洞见未来，对自己的著作做出最夸姣的展望。可是其意外成果和鄙俗乱用却变成了过后之明——留在的一堆烂摊子却要由社会来拾掇洁净。
现在，那些紊乱现已处处延伸：全球变暖、空气污染、海洋上漂浮的塑料、核废料，DNA被恶劣改写的婴儿。一切这些，都是精巧技能的产品——技能处理旧问题的办法是制作新问题。在这场不可避免的争相成为首创者的竞赛傍边，不利因素要么没有进行彻底研讨，要么被直接无视或许掩盖住了。
1995年时，Stuart Russell写了有关AI的书。他跟Peter Norvig合著的《人工智能：一种现代的办法（Artificial Intelligence: A Modern Approach）》成为全国际最受欢迎的课程教材之一（Norvig曾在NASA作业，2001年加入了Google）。在最终一章的最终几页，作者自己提出了一个问题：假如咱们成功了该怎么办？不过他们的答案简直算不上认可。他们的答案：“这种趋势好像并不算太消沉。”但尔后发作了许多作业：–首要便是Google和Facebook。
在《Human Compatible》一书中，Russell再次回到了那个问题，这次他不再畏缩。其成果无疑是本年AI方面最重要的一本书。或许，就像理查德·布罗蒂根（Richard Brautigan）的诗所言那样，当全部都被慈祥的机器注视着的时分，日子是夸姣的。可是加州大学伯克利分校教授Russell却看到了更漆黑的或许性。制作逾越咱们才智的机器将是人类历史上最大的一个作业。但他正告说，这也或许是人类的最终一次作业。在书中，他提出了令人信服的事例，证明咱们选择怎么去操控AI“或许是人类面对的最重要的问题”。
Russell的机遇选择得很好。现在，全国际不计其数最最聪明的脑筋都在开发AI。大多数AI都是只要才有所长——“狭义”的AI，要么处理语音，要么翻译言语，要么辨认人群，要么确诊疾病，或许下围棋玩星际争霸凶猛过人类的那种。可是，这些与该范畴的最终方针——可比美乃至逾越人类脑力的通用AI仍相去甚远。
这不是一个荒诞的寻求。从一开端，Google母公司Alphabet旗下的AI团队DeepMind 就打要“处理智能”问题，然后再用它来处理其他一切问题。七月份，微软与美国公司OpenAI 签署了一份10亿美元的合同，要开发一种仿照人脑的AI。这是一场高风险的竞赛。就像弗拉基米尔·普京所说那样：谁成为AI领导者，谁就“将成为国际的统治者”。
Russell并未声称咱们间隔那个方针不远了。在某个章节里边，他论述了计算机工程师在开发人类水平的AI时面对的巨大问题。机器有必要知道怎么将单词变成共同、牢靠的常识；它们有必要学会怎么去发现新的动作并依照恰当的次第进行组合（烧开水，拿起杯子，把茶袋放进杯子）。跟咱们相同，他们有必要管理好自己的认知资源，以便能够快速做出好决议计划。这些还不是仅有的妨碍，光是这些就能让咱们感遭到未来的使命之艰巨。Russell置疑这会让研讨人员还得再忙活80年，但他着重时刻点是无法猜测的。
哪怕天启现已隐隐若现，这也是一场弯曲的机敏之旅，咱们不知道人类的智能会带咱们去往何方？ Russell说，把握上述一切的身手的机器将会是“实际国际重要的决议计划者”。它会吸收来自互联网、电视、播送、卫星和闭路电视的许多信息，然后更全面地了解这样一个国际和住在那里的人，这是任何人都难以企及的。
这种状况下有什么或许会向好的呢？在教育范畴，人工智能导师能够最大程度地发挥每个孩子的潜力。它们把握来人体巨大的复杂性，让人类消除疾病。作为数字个人助理，他们会让Siri 和Alexa 感到惭愧：“事实上，你随时都能够呼唤一位高能的律师、会计师以及政治顾问到身边。”
或许会呈现的欠好之处？在AI安全和监管方面没有获得严重进展的状况下，Russell预见会呈现紊乱局势，他关于乱用AI那章让人读得很懊丧。先进的AI会赋予政府强悍的才能，进行监督、劝说和操控，强壮到“斯塔西看起来也像是个业余爱好者”。尽管终结者风格的杀手机器人未必要消除人类，但根据面纹、肤色或许制服来选择和杀人的无人机是彻底可行的。至于作业，咱们或许不再靠体力劳动或脑力劳动来谋生来，但咱们还能够供给咱们的人道。Russell指出：“将来咱们应该变得拿手做人。”
还有比损坏社会的AI更糟的吗？一个无法封闭的损坏社会的AI。这是一个可怕的，看似荒唐的远景，Russell为此投入了许多时刻。其主意是，就像电影《2001太空周游》里边的HAL相同，智能机器将会意识到，假如或人拔掉插头的话，假如有人拔掉插头的话，其方针会很难完成。假如赋予超级智能AI一项清晰的使命–比方说煮咖啡的话–它要做的第一步便是禁用封闭开关。Russell以为，答案要取决于一种全新的办法，要让AI对自己的方针发生一些疑问，因而永久不会对立自己被关掉。然后他发起要研制“有利可证明”的人工智能，这种AI的算法能够使人类用户获益在数学上有必要是能够证明的。能够说这是一项正在进行的作业。我的AI会怎么处置你的呢？
有一点要清晰：有许多AI研讨人员奚落这种惊骇。哲学家尼克· 博斯特罗姆（Nick Bostrom）在《超级智能》（2014年）一书中着重了通用AI的潜在风险之后，美国智库信息技能创新基金会将其卢德奖颁发了“宣扬人工智能国际末日的骇人听闻者”。有关AI安全的烦闷争辩正接近部落化，而这个奖是有指向性的。这儿遇到的风险更多的不是物种的忽然灭绝，而是无法改动的走向式微：丧失了斗争和了解，这腐蚀了文明的根底，让咱们成为“机器驾驭的大船的乘客，无助且无尽地流浪。”
译者：boxi。
