跳过主内容

从“心”出发,微软助身障人士圆梦就业

Kim Charlson 在 11 岁时被诊断出患有青光眼,视力也因此变得越来越差。她在一年半后接受了手术,然而视力恢复效果并不理想,还引起了并发症,并导致彻底失明。

为了让她能够顺利地进入大学并融入社会工作,Charlson 的父母不得不让她去学习盲文,毕竟对于盲人或低视力人群而言,盲文是识字的关键。在美国,只有 13%的盲人学生懂盲文,另有大约 70%的成年盲人或低视力患者处于失业状态。

这一数据所折射的现实十分严峻,因此当 Charlson 发现一款能够让她有更多时间去学习和练习盲文的应用时,她感到十分兴奋。这款名为“盲文 AI 导师”应用由新加入微软 AI for Accessibility 计划的 ObjectiveEd 公司研发,该计划旨在为那些能够通过人工智能技术提升残障人士生活质量的项目提供资助。此外,包括伦敦城市大学inABLEiMerciv开放大学等在内的十家受资机构,已于今年 10 月的美国全国残疾人就业宣传月中先后加入该计划。

微软无障碍事业部架构负责人 Mary Bellard 表示:“我们有责任,并且有能力让科技变得更加智能,从而更好地造福残障人士。” 微软 AI for Accessibility 计划始于 2018 年,旨在予力大众“切实利用人工智能技术,为各地残障人士创造无障碍的生活环境”,目前已有 32 家机构获得该计划的资助。

盲文 AI 导师这一应用是由 ObjectiveEd 总裁 Marty Schultz 主导的最新项目。Marty Schultz 长期从事软件开发和志愿支教工作,五年前,他为盲人儿童开发了一款名为 Blindfold Racer 的 iPhone 游戏。该游戏衍生出 80 多款 iPhone 和 iPad 游戏,下载量更是超过 50 万次。

试问,有多少孩子能在老师每周仅有的一小时学习指导时间内掌握阅读技巧?

美国盲人协会前主席 Charlson 以及美国国家图书馆盲人与残障人士服务部消费者关系负责人 Judy Dixon 都是 Schultz 的忠实粉丝。两位女士经常与他探讨盲文教育对识字和就业成功的重要性。Schultz 将此牢记于心,并开始着手打造解决方案。

有些失明或视力低下的学生就读于特教学校,他们会使用盲文进行日常授课与交流。然而也有很多这样的学生就读于普通公立学校,在这些地方,教授盲文的老师每周只来一次,平均花在每个学生上的时间仅有一小时左右。

ObjectiveEd 公司总裁 Marty Schultz 与美国盲人协会前主席 Kim Charlson(照片由 ObjectiveEd 提供)
ObjectiveEd 公司总裁 Marty Schultz 与美国盲人协会前主席 Kim Charlson(照片由 ObjectiveEd 提供)

Charlson 表示:“如果你每周和老师共处的时间只有一个小时——换句话说,有多少孩子能在老师每周仅有的一小时学习指导时间内掌握阅读技巧?这种程度是远远不够的。在语言发展阶段,你必须完全投入其中,否则将无法像一个正常成年人那样熟练运用这门语言。”

盲文AI导师这款应用采用了人工智能语意识别技术以及微软 Azure 语意服务,帮助学生通过个性化寓教于乐的方式提高盲文认知水平。该应用会将单词或句子发送至盲文显示器,这是一款方便盲人阅读的硬件设备。学生先触摸这些盲文,并将单词和句子大声念出来,之后,该应用将会识别学生的语音并提供反馈,从而使学生可以立即知道自己是否正确。

与此同时,老师可以通过线上仪表板,查看学习结果,来记录和追踪学生的学习进度。

Schultz 表示:“我们所扮演的角色不是教师,而是在老师缺位的情况下培养学生自学的能力。老师负责授人以渔,而我们负责的是让学习变得更为有趣、更具吸引力。我们还可以让学生在没有老师在场的情况下独立完成相关任务,这样一来,他们在下次与老师上课之前就能取得显著的进步。”

Schultz 指出,这种补充练习可以帮助学生“更快地完成学业,从而顺利进入大学,并在未来就业时拥有更多机会。”

来自 iMerciv 公司 Arjun Mali(左)和刘斌(音)都曾有亲人丧失视力。(照片由 iMerciv 提供)

Arjun Mali 和刘斌(音)是多年的朋友,他们都曾有亲人丧失视力。为此,两人寻找到另一种方式为视障人士提供帮助,即借科技之力让他们的通勤更为便利,并且能够在城市中为他们导航。

刘斌和 Arjun Mali 虽然来自不同国家,但他们的生活却有相似之处。刘斌出生在中国,9 岁时因身为土木工程师的父亲工作变动,随家人移居非洲博茨瓦纳的哈博罗内。而 Mali 的父亲曾在印度和阿联酋从事光纤网络销售的工作,因此他也在这两个国家度过了一段童年时光。

大约 10 年前,刘斌的父亲被诊断出患有青光眼,并且无法根治。而 Mali 身在印度的祖母则仅有部分视力,在 Mali 的陪伴下,她有时会去当地的一所盲人学校,志愿为孩子们朗读并教授英语。

两人在加拿大多伦多读大学时相识,随后在玩扑克发展成了朋友。他们经常一起谈论盲人或视力低下人群所遭受的挫折和侮辱,同时也会探讨如何能够改善视力障碍者的行动能力。Mali 拥有加拿大安大略省麦克马斯特大学经济学学位,他表示:“家人视力受损给整个家庭造成了很大的影响,但我们也发现了其中蕴含的机会,即创造一个能够惠及整个群体的技术解决方案。”

刘斌毕业于加拿大多伦多大学,并获得了土木工程学士学位,他一直在寻找能够帮助父亲在使用拐杖时更精确安全地绕过障碍物的装置,但结果并不尽如人意。随后,他和 Mali 携手打造出属于他们的首款产品 BuzzClip。

BuzzClip 是一款可穿戴设备,重量仅2盎司(约 57 克),通过超声波探测行走路径上的障碍,并通过不同的振动频率向用户发出警报提醒用户。

家人视力受损给整个家庭造成了很大的影响,但我们也发现了其中蕴含的机会,即创造一个能够惠及整个群体的技术解决方案。

早些时候,多伦多大学创新中心(Impact Centre)针对初创科技公司推出了加速器计划,两人也从中获得支持,并于 2014 年成立了公司 iMerciv, Inc。

如今,iMerciv 公司已加入微软 AI for Accessibility 计划,并开发出一款名为 MapinHood 的导航应用,帮助盲人或低视力群体提供步行上班或是出行的最优路线。

不管是建筑工地或是犯罪高发区域,该应用程序均可通过声音警报提醒用户在行进中躲避危险,同时还能告知用户所处位置周边是否存在所需物品,例如饮水机、长凳或坡道等。这一切都是基于机器学习、众包数据以及当地执法部门的开放信息来实现的。

从左至右,Vanessa Bourget,加拿大国家盲人协会(CNIB)定向行走训练实习生;Mark Rankin 和 Emily Baarda,CNIB 定向行走训练专家;Yusup Mollayev,iMerciv 公司数据与分析副总裁一行人在安大略省多伦多市舍伍德公园,通过 MapinHood 应用程序测试已有地理标签(如长椅)的音频提示。(照片由 iMerciv 提供)

目前导航系统一般都会经过优化,以便准确生成去往目的地的最短或最快路线。但刘斌表示,对于那些需要步行上班、购物或去往公园的残障人士来说,这些往往并不是最佳路径。

MapinHood 使用了 iMerciv 提供的定制路由引擎,并在 AI for Accessibility 计划的资助下,使用微软 Azure 的机器学习、存储和虚拟机等服务。目前这款应用目前正在与加拿大国家盲人协会一起合作进行测试,而 iMerciv 的另一款应用 BuzzClip 也是与该协会合作开发的。

MapinHood 在多伦多的成功也为其在其他城市的应用提供了范例。

刘斌表示:“我们重点关注的是个性化,我们致力于让应用尽可能灵活且高度定制。因为对于行人,尤其是残疾人而言,导航所提供的单一解决方案不可能满足所有人的需求。”

从左至右,顺时针方向,来自美国范德比尔特大学的 Claire Barnett、Nilanjan Sarkar、Josh Wade 和 Michael Breen。(Joe Howell/美国范德比尔特大学)

对于自闭症患者而言,面试在很大程度上成为了求职路上最大的障碍。而这就是 Nilanjan Sarkar 的关注所在。他表哥的儿子被诊断出患有自闭症之后,经过一段时间的研究,Sarkar 发现自闭症患者在与智能系统(如聊天机器人)打交道时往往会比与人打交道时更为自在。

Sarkar 是美国田纳西州范德比尔特大学机器人与自主系统实验室的负责人,他目前正在研究一个课题,旨在通过智能系统的帮助,让自闭症患者在面试过程中拥有更为良好的表现。基于此理念,Sarkar 与范德比尔特大学首个自闭症与创新中心合作开发了虚拟现实职业面试预演系统(CIRVR),该中心于今年早些时候被纳入微软 AI for Accessibility 计划。

在美国,大约有 250 万成年人患有自闭症。Sarkar 表示:“其中 60%或更多的人可以完成一定程度的工作。然而,这其中 85%具备工作能力的人要么没有充分就业,要么完全处于失业状态。”

打造该系统的目的在于帮助求职者在面试真正开始之前做好充分的准备。

CIRVR 是一个虚拟现实职业面试预演系统,使用 Azure AI 服务并集计算机面试官、可穿戴设备和眼动仪于一体。可穿戴设备通过机器学习技术跟踪面试者的心率、皮肤出汗程度等生理指标,从而推断出他们的焦虑程度,眼动仪则用来测定面试者的注意力。

Sarkar 表示:“该系统会量化、客观地采集大量数据,包括面试者的焦虑程度、视线所在、反应如何、应当采取的行动等等。同时,我们可以创建一个反馈系统,让面试者通过反复地练习来改善面试技巧。”

“自闭症患者更倾向于常规化、可预测的社交互动。然而人类的反应和互动往往是不可预测的,这就会令他们感到困惑。”Sarkar 补充道。

他指出,在很多时候,即使只是简单的开放式面试问题,比如“能否给我一个你解决问题的实例?”或“你是如何帮助队友的?”都有可能会造成前来面试的自闭症患者的焦虑。诸如要求快速解决编程问题的紧急测试也可能导致同样情况。

Sarkar 表示,CIRVR 系统已经进行到测试阶段,将向求职者提供面试反馈,以便他们更有针对性地进行面试练习。此外,该程序还将对整体面试结果进行趋势评估,从而能够分享给对此感兴趣的公司内部招聘经理。这样一来他们能够了解如何优化面试环节,或在有需要的时候采取不同的提问方式。

他说道:“我们假设面试体系不会即刻改变。打造该系统的目的在于帮助求职者在面试真正开始之前做好充分的准备。”

来自微软的 Bellard 表示:“所有 AI for Accessibility 计划的受资机构在无障碍技术领域都极具热情,并且十分专业。该领域内的软件和硬件设施均具备巨大的潜力,它们将更好的满足残障人士的需求,而这也势必有助于科技进一步提升其他消费者的生活质量,

这是一个不可多得的机遇。”

请点击链接,了解更多关于 AI for Accessibility 计划以及微软自闭症患者招聘项目