机器人的数学高考输在语文上 自然语言识最难题

2017-06-11 08:06:00 中国青年报 分享
参与

  6月7日晚,人工智能机器人AI-Maths正在解答2017年数学科目高考试卷,研发负责人接受记者采访。当日,AI-Maths分别花了22分钟和10分钟,答完北京文科卷和全国Ⅱ卷,分别得了105分和100分。中国青年报·中青在线记者 王鑫昕/摄

  11个黑色方盒子被装在一台一人多高的机柜里,身后连着密密麻麻的电线、网线,设备嗡嗡作响,信号灯不停闪烁,旁边两台空调正在抓紧工作。如果室温超过25摄氏度,这11台服务器将可能宕机。

  这是6月7日傍晚,发生在成都高新区一个创业园区内的场景。“准星数学高考机器人”AI-Maths在这里迎来了属于它的2017年文科数学“高考”。

  这是人工智能向人类发起的最新一场挑战。此前,谷歌公司旗下DeepMind公司研发的人工智能机器人AlphaGo先后战胜顶尖棋手李世石和柯洁,引发了人们对人工智能会不会超越人类这一话题的热议。

  断网、断题库,闭卷考试

  AI-Maths是在一个与互联网隔绝的空间进行答题的。研究人员强调,AI-Maths不是依靠数量庞大的题库进行比对、作答的,它主要靠系统学习知识点,形成逻辑推理能力后进行自主解题。

  由于涉及试题保密,机器人无法与全国考生同时、同场竞技。考试现场,数十位工作人员在紧张“备战”,焦急地等待网络上更新高考试卷。记者的长枪短炮已经包围了这些可能的信息来源。现场紧张感十足,哪怕一点响动都能吸引一批人探寻的目光。

  研发AI-Maths的成都准星云学科技有限公司负责人称,这是人工智能第一次向复杂综合推理技术发起挑战。此前,研究人员为它设定的考试目标是110分。而在今年2月的一次模拟考试中,它只获得了93分,刚过及格线。

  在过去3个多月的魔鬼训练里,AI-Maths的做题数量从起初的100套试卷增加到大约500套试卷。

  这是它“一个人的高考”。考场中只允许它独处,不能有任何人为干涉。它不能像其他机器人小伙伴一样,靠连接网络数据库和题库获得答案,一切都凭借那11台服务器。它必须独立完成读解、计算,与普通考生无异。

  成都准星云学科技有限公司CEO、清华大学苏州研究院大数据中心主任林辉向记者表示,联网、联题库的状态下答题,就像一位考生在自由开放环境下的开卷考试,目前市场上已有很多应用。但AI-Maths要做的是模仿考生封闭环境的闭卷考试,现场到处贴着“所有设备断网断库”。

  为了让这场考试对人类更公平,林辉邀请了三位专家担任“监考官”,从断网情况到用于拷贝试题到服务器上的U盘是否夹带“小抄”,他们都在众多直播镜头下现场完成检查。

  17时45分,一位工作人员在会场最后方的录题区域喊了一声:试题来了!工作人员当即宣布,AI-Maths将挑战的首套高考试卷是文科数学北京卷。十几位录题、检查人员在会场后方,抓紧将从网上获取的图片格式试题输入进WORD文档。再过一会儿,这份“考卷”将进入AI-Maths的“大脑”。

  为了这次实战,录题的工作人员试验过多次。林辉向中国青年报·中青在线记者介绍,就在正式考试几天前,第一次录题时,很多工作人员曾紧张得双手发抖,频频出现失误。一旦录题不准确,AI-Maths的“高考”将失去价值。

  在林辉看来,工作人员的紧张再正常不过。在很多人心中,跟人工智能机器人的对战显得有点“悲壮”。在今年2月AI-Maths与成都某知名中学学生的“对战”前,一名学生甚至感觉自己是“代表人类在作战”。

  机器人的失分之处在于无法读懂自然语言

  18时28分,AI-Maths正式开始作答北京卷。在会场前方的8台电脑承担着向“考场”内11台服务器导入试题和导出答卷的功能。

  大屏幕上原本显现的AI-Maths孤零零伫立在考场中的画面,变成了答题过程的实时呈现。从选择题开始,屏幕迅速滚动,答案就实时展现在真题的右方。

  到了解答题,现场的气氛更加紧张。此前,大家从没见过AI-Maths将如何读解包含众多文字描述的大题。它会写过程吗?能得到过程分吗?它的解题思路跟人类一样吗?

  1、2、3……AI-Maths将每一个步骤用数字顺序标明。如果第五步使用的是第一步和第三步的结论,它将显示为:“由条件(1)和(3)得”,后接运算结果。

  按照AI-Maths过去的“倔强劲儿”,它可能有时会卡在一道题目上几小时不止。那时它没有知难而退的意识,对于解不出的难题,一种方法不行,它就会尝试下一种方法,有时甚至会为一道题尝试好几百次。所以研发团队专门设置了一个放弃程序,以确保AI-Maths不卡在一道题目上而耽误了后面的解题进程。

  22分钟后,工作人员宣布AI-Maths已完成北京卷。他们迅速打印它的答卷,并在镜头的见证下交由坐在会场左侧等待判卷的3位数学教师。他们都是来自成都几所知名中学的教学带头人。

  在北京卷的判卷过程中,第二套试卷全国II卷也开始了人工录入阶段。

  19时许,现场工作人员宣布了AI-Maths的首套高考答卷的成绩:105分!选择题满分!现场响起了热烈的掌声。

  105分的数字通过现场观众扩散到了网上。看到这个成绩,一些网友留言表示“我这辈子都没到过105分”,也有人质疑:为什么AI-Maths不答难度更高的理科数学?早早地做完题为什么不检查一下错题?

  19时19分,AI-Maths开始作答全国II卷。林辉拿着AI-Maths的答卷现场解析它在一些题目中得零分的原因。比如北京卷第14题,林辉觉得自己初次读题都“有点晕”。

  他认为,题干中“教师人数的两倍多于男学生人数”的表述并不常见,AI-Maths很可能由于无法理解这种描述,故而无法解答,得了零分。“主要是自然语言理解出现了问题。”林辉表示。

  在林辉介绍间隙,工作人员宣布,19时29分,AI-Maths仅用10分钟便完成了答题。现场爆发出一片惊叹声。很快,阅卷结束,这次AI-Maths的得分是100分。

  这次,AI-Maths的答卷上红叉落在了选择题第九题上。这是一道讲述甲乙丙丁4人向老师询问成语竞赛成绩的逻辑推理题。除了“2位优秀、2位良好”的信息涉及数字,其他都是纯文字表述。

  阅卷老师随后告诉记者,AI-Maths的失分主要在于概率统计题等文字表述较为复杂的题目。它主要问题还是出在了读不懂题上。用参与阅卷的数学老师的话说,AI-Maths要考好数学,还得先学好语文。

  尽管没能达到110分的目标,研究团队依然感到骄傲。科大讯飞研究院院长胡国平说,据他所知,这是人工智能第一次在断网断库的情况下完成自动解题。类比闻名世界的AlphaGo,前者更多地属于计算智能的范畴,AI-Maths要解决的是认知智能层面的问题,也是目前人工智能与人类差距最大的领域。

  研究人员相信,经过更多的训练和学习以后,未来AI-Maths会取得更好的成绩。林辉透露,在过去一年中,公司在复杂逻辑推理、直觉观察推理、计算机算法、深度学习上都进行了深入攻关。

  “思维能力就像是人在成长时的肌肉,要先训练力量,再去训练招式、套路。”林辉说。接下来,他们将继续让AI-Maths“复读”,做更多的题进行训练。“待它更强大时,再进行联网、联数据库。否则AI-Maths靠的都是人的经验,永远无法超过人类!”

  林辉希望,AI-Maths有朝一日能完成从学生到出题人、阅卷人身份的转变。他告诉中国青年报·中青在线记者,本次使用11台服务器,为的不是展示技术的力量,而是希望AI-Maths可以用更接近日常生活的设备条件来发展自己,从而便于未来更广泛地应用于日常生活。

责编:陶文冬