在谷歌推出的众多失败产品中,谷歌玻璃(Google Glass)可能是最著名的产品。
价格昂贵、设计尴尬、还触及隐私问题,这个 2013 年推出的探路者很快就销声匿迹了。然而 Facebook、苹果和微软公司纷纷发力智能眼镜,这也就意味着谷歌不会放弃。一个事实是,在普通消费者用到谷歌眼镜遥遥无期的时候,自闭症患儿倒是捷足先登了。
自闭儿的福音
人脸是一个复杂而动态的系统,是我们最有力的社交方式。表情识别其实是一个编码、解码的过程,然而自闭儿很难学会面部识别和情绪交流,他们既不擅长语言表达,对情绪理解有欠缺,甚至很难与人直视。对于自闭儿,自闭症行为干预训练(ABA)虽然有效,但过于费时费力,按照要求需要每周 20 小时的训练,每个患儿的一年费用多达 4 万到 6 万美元。这时候,行为治疗师都不够用了,据称美国的行为治疗师已经约到了 18 个月之后。
如果治疗和康复不及时,会错过缓解病情的最好时机。这时候更先进便捷的辅助手段是刚需,可穿戴的社交学习辅助工具就成了很多人的优先考虑。
据纽约时报报道,2 年前,10 岁的自闭儿 Esaïe Prickett 就开始佩戴谷歌眼镜进行情绪识别的训练。当他的家人对他作出快乐、悲伤、惊讶、愤怒或无聊等表情时,他需要鉴定出这些情绪。而谷歌眼镜会迅速闪过只有他能看到的小图标,以提示他判断是否正确。同样,只有他在直视其他人面孔的时候,谷歌眼镜才会给他正反馈。
Esaïe Prickett 试验是斯坦福大学研究人员在旧金山湾区进行的临床试验的一部分。斯坦福大学 Dennis Wall 和 Catalin Voss 的研究证明,智能眼镜可以帮助自闭儿理解情绪,更好地与周围的人交往。他们还能把握行为的变化,这是很难得的。
图 | 带着谷歌眼镜的 Esaïe 和哥哥在进行表情训练。(来源:纽约时报)
Catalin Voss 是这个研究的主干力量。在谷歌 2013 年刚刚推出眼镜的时候,Catalin Voss 还是一名斯坦福大学的新生,他就准备开发自动识别图像的程序了。他经常看到自闭儿表弟对着浴室的镜子练习表情,于是就想到,谷歌眼镜可能会帮助到表弟。他的应用程序可以自动读取面部表情,并能够密切跟踪用户是否已经识别了情绪。
如今 Voss 已经是一位博士研究生,他正在和斯坦福大学专门进行自闭症研究的 Dennis Wall 教授一道开发这个程序。他们对71名轻重程度不同的自闭儿进行了试验,这些受试者的 Vineland 自适应行为量表测试表现优异。后者是一个衡量自闭症行为的标准工具。
一项 71 个自闭儿的研究
对于自闭儿,智能眼镜可能导致的隐私问题并不是他们的第一顾虑,他们首先要解决的是社交情绪识别问题。
Dennis Wall 的这个研究发表在今年 3 月份的 JAMA Pediatr。71 个自闭儿中有 40 人选入试验组,31 人进入对照组。自闭儿在 4 岁到 17 岁之间,共有 63 名男孩参与。试验就在自闭儿家中进行,需要每周 3 次进行 20 分钟的训练,持续 6 周。
图 | 孩子戴着智能眼镜(A),后者与 Android 智能手机应用(B)通过无线网络同步。眼镜摄像头捕获传输到智能手机的面部图像数据以立即分类,检测到面部时,眼镜的监视器中会出现绿框。当检测到情绪时,在监视器中出现对应于 8 种情绪之一的表情符号。这时候绿框和表情符号可以同时出现,如 C 所示。(来源:JAMA Pediatr,2019)
试验中,谷歌眼镜可与 Android 智能手机应用程序同步,后者通过机器学习进行面部识别和情绪检测,支持游戏选择和开启,还可录制视频以供父母回放。眼镜的摄像头可以捕捉到手机上的面孔画面并加以分类。眼镜检测到面部时,就会在外围监视器中出现绿框。当识别到情绪时,监视器中会出现相应的表情符号和绿框,眼镜也会发出相应的声音提示。
相对于护理人员,机器最大的优点是兢兢业业,不容易出错。谷歌眼镜主要执行两个任务,其一是鼓励面部识别,其二是教学正确标记游戏中的情绪。受试者可以用余光注意到绿框和表情符号,而不需要直视。
Esaïe 的父亲对此研究很是看好。因为 Esaïe 深受此吸引,他很喜欢 Ipad 应用程序和看电影。他更喜欢和技术在一起。尽管父亲发现很难判断智能眼镜是否有助于 Esaïe 识别情绪,但他看到 Esaïe 进行目光接触的能力明显改善。
也有例外。有的自闭儿家长认为,孩子并没有被这个智能设备吸引。
据纽约时报报道,加州大学洛杉矶分校心理学家 Catherine Lord 专门研究自闭症行为,他指出,自闭儿父母的观察可能不可靠,尽管这类技术的研究有赖于这些父母的观察。
如今,这项技术以及授权给 Dennis Wall 创办的硅谷公司 Cognoa,正在等待 FDA 的批准。
让自闭儿用上谷歌眼镜的不只 Voss 一家公司。马萨诸塞州一家 Brain Power 也为谷歌眼镜开发了一款类似软件,他们打算将之作为一种技术出售给学校进行教学之用,而非医疗设备。其理论是,儿童对于新技术的态度和热情取决于家庭和学校是否使用。
图 | 在 Brain Power 主持的一项 8 人研究中,大部分护理人员认为,自闭儿与智能设备的互动超出预期。(来源:JMIR Hum Factors,2018)
图 | BrainPower 的谷歌眼镜应用使用效果。(来源:indiegogo.com)
他们采用了谷歌眼镜的继承者,Glass Enterprise Edition (Glass),这是 2017 年 7 月 Google X 发布的产品。他们自身的产品名为 Empowered Brain,角色定位是自闭儿生活中的教练,由麻省理工学院和哈佛大学的研究人员开发,已经成功通过临床测试而上市。
从业者说:人工智能介入自闭症路途漫漫
ALSOLIFE 是一个国内关注自闭症的大数据平台,可以通过快速算法,在最短的时间内,帮助家长精确地定制适合孩子的训练项目。该平台由三位自闭症家长泡爹(张之光)、秋爸爸(陈伟京)、可欣可奕爸爸(刘岱岳)于 2017 年 2 月共同发起成立。
据 ALSOLIFE 人工智能技术负责人程建宏介绍,有不少的研究尝试利用 VR/AR 等技术成果来提高自闭症干预训练的自助化程度,但 VR/AR 的技术仍然处在发展过程中。一方面存在设备比较重,需要使用者头部携带;另一方面,硬件更新视场内容的处理能力还达不到人眼正常舒服的接受水平,长时间会造成眩晕感;正常使用者尚且如此,更何况自闭症婴幼儿。接触式技术方案需要自闭症婴幼儿头部佩戴设备,容易遭到自闭症婴幼儿的排斥和抵制,设备极易遭受自闭症婴幼儿的暴力损坏,效果非常有限。
ALSOLIFE 在探索非接触式技术解决方案,利用自身在计算机视觉领域多年的算法积累,研发了具有自主知识产权的自闭症康复干预治疗监测评估系统。通过对自闭症婴幼儿在干预治疗中所表现的行为特征进行建模,比如眼神的交互、视线变化、面部情绪、肢体语言等,经过自身积累的大规模分类数据的训练,已经可以成功融合识别出自闭症婴幼儿在干预治疗训练中的一些细微的、具有积极意义的变化,而这些变化常常容易被忽视掉。通过对比之前的历史档案数据,可以准确反映出患者的每一个干预治疗项目的干预成效。这个过程完全基于数据和算法,排除了人为的主观因素,更客观、也更准确实用。
以下为该平台负责人张之光对人工智能介入自闭症治疗未来发展的观点。他认为,人工智能在自闭症领域有七个维度,目前在实现第四和第五个维度。
目前在医学领域,我们没有有效的方法来预防和对抗自闭症,目前实证科学有效的方法都是教育。如果把自闭症儿童比喻成一部电脑的话,那这部电脑天生没有键盘和显卡,他们既不能很好地接受信息,也不能很好地向外界反馈信息。教育干预的方法就是重新帮助孩子和外界之间建立起有效的链接,增加他们接收外界信息的效率,并提升他们向外界反馈信息的能力。
从教育的角度来看,自闭症的教育与普教最大的一点不同就是发育的不均衡性。
对于普教来说,孩子发育的个体差异不足以影响成长的稳定性,因此可以指定统一的教育计划,来提高他们的能力。但对于自闭症儿童来说,他们存在广泛性发育障碍,每个孩子的发育落后程度、发育落后的侧重点都可能各不相同,因此针对于特殊儿童干预的难点就是教育的“个别化”,要针对于每个自闭症儿童,提供有针对性的、个别化的干预计划,并通过数据的不断记录和跟踪,去迭代和优化孩子的干预计划,实现康复的最短路径。
如果把自闭症干预的世界比喻成宇宙的 7 个维度,那么起始点大概是在50多年前,当时所有的特殊孩子都没有进行个别化干预计划,自闭症的孩子多被认知为“教养不当”,他们被统一安排在一个地方里,统一安排生活起居,谈不上干预。
第二个维度是波特奇计划(PGEE)的启动。它是 1969 年由美国残障教育局主持开发的一套适用于 0- 6 岁儿童的早期教育教材,1972 年问世。波特奇计划把儿童早期出现的 6 个领域共 556 项行为表现,确定为能代表儿童各个年龄阶段发育状态的目标行为,这些目标行为既可以作为评价儿童发育是否正常的标准,又可以成为对儿童进行教育训练的项目。也就是说,PGEE找到了一条符合儿童正常发育特点和规律的轨道,特殊儿童也只有在这条轨道的干预下,其发育状态才能控制偏离而趋于正常。第二维度出现的重要标志是,根据每个特殊孩子制定属于他自己的训练目标,并对这些目标长期、持续地练习。
有了目标,但如何保证干预的效率?如何确保每个目标孩子是掌握了,还是熟练了?如何判断孩子是否在保持进步?
为了解决这些问题,自闭症干预发展出第三个维度,就是数据记录。针对于每个目标练习时孩子的表现,行为分析师们增加了数据记录手段。他们往往通过记录孩子的“辅助等级”以及“通过率”来表现孩子的练习状态,判断孩子是否掌握了当下在学习的训练目标。目前中国的一部分干预机构,已经达到了这个阶段,也就是说他们有能力为孩子制定行之有效的训练目标,并通过数据记录跟踪孩子的训练状态。
但行为分析师们只能通过人工去记录孩子的训练情况,这个效率是非常低下的,一个训练有素的分析师往往只能记录几种典型的数据,而且在记录复杂的数据(例如孩子的问题行为发生次数)时,无法保证精度。有些时候,我们需要多个行为分析师去观察记录一个特殊儿童的数据,来确保数据的可信度。这就为自闭症干预带来了成本问题。
因此,自闭症干预的第四个维度就是通过计算机去智能识别孩子的各种行为。比如,我们可以通过眼动设备去识别孩子在干预过程中对老师的关注情况,来判断干预工作对改善孩子的注意力是否是有效的。我们可以通过行为捕捉技术去自动识别孩子问题行为:有没有晃手、有没有玩口水,有没有自伤行为。我们还可以利用声音识别技术判断每次孩子回应老师的平均时延。这些数据都将更准确地“还原”自闭症儿童的训练状态,来判断我们给孩子提供的干预课程是不是更行之有效,孩子的行为分析师的工作是不是有做到位。
第五个维度是在能够采集越来越多不同行为的数据后,计算机就可以更智能地学习历史经验,为孩子的干预计划提供更行之有效的建议,也就是建立更明智的干预策略。计算机也可以在几次训练之后,就预测出孩子未来可能达到的能力水平,便于我们找到孩子康复的最短路径。
另外随着行为识别技术的不断成熟,结合 AR 技术的广泛应用,也会给自闭症儿童提供类似于眼镜和人工耳蜗式的帮助。比如当自闭症孩子上完厕所以后,可佩戴的智能设备可以提示自闭症孩子洗手或者冲厕所,来帮助他完成整个如厕流程;当他遇到一个喜欢的姑娘但又不知道如何表达的时候,智能设备可以告诉他如何进行一次行之有效的自我介绍。当科技发展到那个阶段的时候,这类应用会应声而来,这就是第六个维度。
当自闭症干预的技术发展到第七个维度时,就是对人工的彻底替代。用仿生机器人也好,用 VR 或 AR 技术也好,我们不再需要繁重的人力来对自闭症儿童进行反复的训练,自闭症的家庭也不必因此承担更高的成本,但无论如何这都只会发生在很久以后。
对于 ALSOLIFE 来讲,我们正在实现第四和第五个维度,ALSOLIFE 的人工智能团队可以识别孩子对老师的目光关注,也在努力实现所有异常行为的自动识别。我们认为,在第六和第七个维度出现之前,我们必将经历这些完整的阶段,即建设一套行之有效的评估/干预系统,建立一套智能准确的行为采集和识别的工具,建立一套科学高效的干预数据平台。