首页 甘肃 国内 国际 视频 体育 娱乐 时评 军事 女性 论坛  
 
新闻热线:0931-8151739  投稿邮箱:mrgstx@163.com
您当前的位置 :每日甘肃 > 科技 > 科技前沿 正文

焦点科普:一键终止,如何让人工智能更安全

2016-06-06 16:29 来源: 新华社  

  新华社伦敦6月5日电“阿尔法狗”有望与柯洁进行围棋终极人机大战,有关人工智能是否会威胁人类甚至取代人类的讨论再度成为热门话题。而开发“阿尔法狗”的深度思维公司发表最新论文说,他们正在研发可以关闭人工智能的“一键终止”开关,以预防科幻影片中机器人崛起、毁灭人类等类似情况的发生。

  论文说,人工智能在真实世界的复杂环境中不断学习,可能不会每时每刻都以最佳状态工作,人类控制者需要一个“红色大按钮”来终止机器人等人工智能的危险行为,这个按钮的核心就是让人工智能在深度学习的过程中,永远都无法学会去抵抗人类按下它的“一键终止”按钮。

  人工智能“一键终止”按钮涉及机器学习中的强化学习过程。人工智能程序一直在判断每一步可能的策略是否对预设目标最有利。但强化学习的微妙之处在于,人类程序员不可能总是判断出人工智能程序认为是胜算最高的一步;人工智能可能发现一些“捷径”,这些捷径可能给人类带来不想看到的结果。

  以“机器人搬运工”为例,如果机器人负责在仓库内分拣货物以及将户外货物搬到仓库内,按照人类程序员的设定,机器人会优先到户外进行搬运。然而最近天气反常,总是下雨,过多的户外工作会损耗机器人的使用寿命,控制人员不断发出让机器人进屋的指令,次数多了,机器人就能学会并认为在仓库内工作更具优先性,甚至可能抵制在户外工作。

  研究人员表示,“一键终止”按钮的核心在于如何让机器人认为这一次人类控制者终止自己的行动只是一次性的,将人类控制者的终止指令看做是无害中性的,人类的“关机”行为不会在人工智能的强化学习过程中产生任何印记。最终,研究人员会让人工智能将“一键终止”开关的按下看做是自身策略的结果。

  深度思维人工智能专家洛朗·奥叟和牛津大学人类未来研究所专家斯图尔特·阿姆斯特朗在美国机器智能研究所网站上发表了这篇文章,并将于本月底在美国纽约地区举行的“第32届人工智能不确定性大会”上就这篇论文发表演讲。

  阿姆斯特朗曾表示,人类语言如此微妙,很有可能被人工智能误读。一条“阻止人类继续承受痛苦”的指令,可能会被人工智能解读为“杀掉所有的人类”,而“保证人类安全”的指令也可能让机器人把所有人禁闭起来。他认为,人类处在一场致力于打造安全人工智能机器的竞赛中,必须争分夺秒,以免为时过晚。

 编辑:[ 穆好强 ]
更多相关新闻及资讯请关注微信公众号,提供新闻线索关注民声315微信公众号。
 




 




 




 

3
1
5
 

相关新闻

  • 甘肃
  • 社会
  • 政务
  • 通讯员
  • 文娱
 
 
版权与免责声明

1、凡注有“每日甘肃网讯”或电头为“每日甘肃网讯[XXX报]”的稿件,均为每日甘肃网及甘肃日报报业集团版权稿件,未经许可不得转载或镜像;授权转载必须注明来源为“每日甘肃网”,并保留“每日甘肃网”电头。

2、凡注明为其它来源的信息,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

阅读推荐

论坛热帖

原创视频

原创热点

甘肃省“十二五”高速公路建设综述

  “十二五”时期,在国家西部大开发和“一带一路”战略以及省委省政府“6873”交通突破行动等大政策、大环境引领推动下,全省高速公路建设迅速发展。5年新增高速公路1607公里,运营总里程达到3600公里,“.......全文

专题策划

热门图片

甘肃市州新闻精选

关于我们 | 版权声明 | 广告业务 | 联系我们
Copyright © 1999-2015 Gansudaily. All Rights Reserved
每日甘肃网版权所有