Chinese
Adv Search
Home | Accepted | Article In Press | Current Issue | Archive | Special Issues | Collections | Featured Articles | Statistics

2019,  1 (2):   233 - 239   Published Date:2019-4-20

DOI: 10.3724/SP.J.2096-5796.2019.0002
1 引言 2 盲人触听觉多通道交互模型 3 盲人触听觉多通道交互实验 3.1 实验用户 3.2 实验设计与方法 3.3 实验结果分析与结论 4 盲人多通道交互辅助设备设计探索 4.1 针对移动端与桌面端分别设计 4.2 符合盲人具身认知 4.3 结合目前智能终端 4.4 成本控制 5 总结与展望

Abstract

Background
It studies multimodal interaction design based on touch and audition for the visually impaired and related assistive devices.
Methods
With the consideration of traditional multimodal hypothesis, cognition and multimodal interaction design, this study proposes a multimodal interaction modal based on touch and auditions for the visually impaired, illustrates information flows from tactile and auditory interaction interfaces, and conducts a blind user experiment under multimodal scenario to analyze the ability of user perception and cognition.
Results
Under the multimodal interaction scenario, the visually impaired users achieved better user experience and higher recognition efficiency.
Conclusions
Discusses the design principles of blind assistive devices and their interactions by this interaction modal and user experience, guiding the explorations of blind assistive devices design. The visually impaired can enjoy the internet like us.

摘要

背景 从多通道交互设计的视角,结合目前的盲人辅助设备的设计,研究面向盲人的触听觉多通道的交互设计。
方法
结合经典的多通道假设和认知,以及多通道交互设计,提出面向盲人的触听觉多通道交互模型,概括盲人的交互方式,分析多种感官交互界面蕴含的信息流向,并通过用户实验分析触听觉多通道下盲人用户的认知理解能力。
结果
在触听觉多通道交互情景下,盲人用户的认知体验和认知效率得到显著提升。
结论
根据盲人触听觉多通道交互模型和多通道用户实验,从触听觉认知交互体验的角度,提出盲人辅助设备及其交互设计的原则,指导盲人触听觉辅助设备的设计探索。触听觉多通道交互设计最终让盲人无障碍的享受互联网的丰富信息。

Content

1 引言
近年来,人机交互设计和交互技术迅猛发展,研究者和开发团队致力于给予用户更友好、更自然的交互方式[1,2]。在交互界面上,研究者并不局限于传统的图形用户界面,而是积极尝试调动用户的视觉、听觉、触觉、嗅觉等多感官通道,进行立体的信息输入输出[2−4]。其中,关于触觉和听觉的交互研究对视力受损人群有着非凡的意义。
根据世界卫生组织(WHO)2017年数据,全球视力受损人数为2.53亿,其中包括3600万全盲患者。信息技术和互联网的飞速发展使视觉受损人群的生活更加便利,但同时带来了许多新的问题。绝大多数信息以视觉方式设计,并通过显示器进行呈现,比如网页排版、桌面应用和大屏幕智能手机等,而这些视觉信息均无法被盲人获取。面向盲人的信息交互设计,是目前业界和研究者均面临的挑战。
由于视觉受损,盲人朋友们依靠触觉和听觉进行视觉代偿,同时借助相关触听觉辅助设备帮助盲人学习理解信息。比如触觉方面的OPTACON[5]、盲文点显器[6]等辅助设备和听觉方面的Siri[7]、VoiceOver[8]、TalkBack[9]等语音辅助应用。然而这些辅助设备只针对特定场景,功能局限,比如语音辅助应用无法识别图像。而且在飞速发展的互联网时代,网络蕴含了大量的图形图像信息、高保真声音信息以及逐渐兴起的增强现实/虚拟现实(AR/VR)等沉浸式体验信息。对视觉受损人群而言,这些信息需要以非视觉的通道,通过适当的交互方式让盲人用户理解。单独感官的信息传输模式已经无法满足盲人用户获取互联网信息的需求。
根据Allport等[10]提出的多通道假设,人的不同感知通道(视觉、听觉、触觉、嗅觉等)占用大脑不同的工作区域和脑力资源,这使多通道认知与交互成为可能。已有的多通道认知交互研究基本以视觉为主[2−4],并融合听觉、触觉等通道进行视觉辅助。然而针对视觉受损用户,触觉和听觉是主要的信息交流方式,其它通道如嗅觉、味觉因其使用环境和信息量有限,无法作为普适的交互手段。本文力图探索面向视觉受损人群的多通道认知与交互,提出了一种盲人触听觉多通道交互模型,并引入用户实验,分析多通道下用户的认知理解能力,最后给出了盲人辅助设备及其交互设计原则。
2 盲人触听觉多通道交互模型
Kenneth早在1987年提出了每种感官的信息容量参考等级:手指触觉102bits/s,听觉104bits/s,视觉106bits/s[11]。同时,大量的实验和生活经验表明,视觉受损人群的触觉和听觉优于健全人[12]。因为人脑感觉皮层具有可塑性,盲人的触觉皮层和听觉皮层代谢活动增加,使盲人的触听觉更敏锐。这说明针对盲人群体,触听觉虽然没有健全人的视觉信息容量大,但也拥有足够的认知交互空间的潜力。
针对盲人的触觉交互,O'Modhrain等[13]研究者们本身作为盲人,通过切身和周围盲人群体的触觉认知体会,总结了目前触觉界面(Haptics)和触觉辅助设备,并分析了可触的、震动的、触觉交互的辅助设备的优势及劣势。Pawluk等将触觉交互概括为以下4个场景:布莱尔盲文(Braille)阅读、触觉图形、触觉导航以及触觉移动应用[14]。而针对最近似视觉的触觉图形图像方面,Vidal-Verdu 和Hafez 从硬件技术方面归纳分析了面向盲人的图形化触觉显示器,以及它们的使用体验[15]。综上,针对盲人而言,触觉认知与交互是理解可视化信息的最佳方式,尤其是大尺寸触觉点阵屏幕的引入,使一般的图形图像转换为触觉形式,比如触点凸起、震动、电刺激等形式,易于盲人理解。
相对触觉,听觉和听觉交互分为两类:环境音和语音。环境音更多的作为盲人感知理解环境的方式,感知范围广于触觉。Lumbreras 和Sanchez 利用3D环绕声音使盲人感知,并用于盲人学习和娱乐[16]。语音作为盲人获取信息最重要的方式,其交互性在目前也广泛被盲人接受并使用。2010年苹果公司的Siri[7]语音助手引领了互联网时代智能终端的语音交互,类似的语音助手应用还有微软的Cortana[17]等。智能终端通过语音识别、上下文智能分析和机器学习,能越来越准确的理解用户意图,并给予用户积极反馈。此外,苹果终端的VoiceOver和安卓终端的Talkback辅助应用能以语音播报的形式代替智能终端的视觉界面,帮助盲人理解信息。
综上所述,触觉交互和听觉交互都有其独特的优势。触觉交互更偏向具象的体验,听觉交互侧重语言上抽象的理解。在互联网时代,触听觉两种交互方式结合运用,相互辅助,以多通道完成交互,方能满足盲人用户获取信息的需求。本文提出了一种盲人触听觉多通道交互模型,以多媒体信息传递和理解的有效性为目标,分成了不同层次(图1)。
如图1所示,盲人用户通过触听觉多通道交互,共有物理世界、交互界面、信息流和计算端4个层面参与。在物理世界,用户与环境因素参与交互。交互界面列举了目前盲人的主要交互通道,并归类为触觉界面、听觉界面、环境感知和环境控制四方面承载交互信息。信息流将信息的具象/抽象和输入/输出进行了拆分。其中抽象信息包括语音指令、语音回答和自然语言对话,即通过有效语意以抽象形式传输信息。具象信息包括触摸控制、触摸感知和一般声音,即以实体形式和实体环境传输信息。以上信息流再通过输入端和输出端的整合,在计算设备端进行处理。
将盲人的触听觉认知能力与此交互模型结合分析,我们可以得到,盲人用户的触听觉抽象信息处理和具象信息处理可以并行。从认知能力上,不同通道的信息占用不同的脑力资源;从交互界面上,触觉和听觉信息分别占用不同的传输空间,且没有相互干扰。因此在实际交互过程中,抽象的语音沟通与具象的触觉界面或一般声音共同作用,互为辅助,能承载更多信息,是更有效的交互方式。
3 盲人触听觉多通道交互实验
3.1 实验用户
为了验证上节的盲人触听觉多通道交互模型,以及是否触听觉多通道能提高学习理解效率,课题组邀请了16位全盲患者参与实验。16位盲人主要来自几所盲人学校和盲人教育学院,以及两位工作于社会助盲机构的中年盲人,其中男性12人,女性4人[18]
3.2 实验设计与方法
课题组从目前面向盲人学生的中学教科书中摘录了8幅图像,涉及数学、物理、化学、生物等各门学科,并通过PCB面包板、泡沫塑料和大头针制作为触觉图像。图像尺寸大约为20cm×30cm,图像中每个相邻凸点间距为2.54mm,近似于目前盲文点方的2.5mm (图2)。并且针对每幅图像,课题组邀请盲校老师为其编写了语音讲解文稿。以图2左下的化学实验图举例,语音讲解文稿为:“这是一幅化学实验图,图中人手握试管,试管上部连着细管,细管插入装满水的烧杯中,细管口有气泡冒出”。
课题组将8幅图像打乱,并以伪随机形式选取4幅图像没有语音讲解,并定义为方式1,另外4幅图像带有语音讲解,并定义为方式2。每幅图像学习时间均为2min,若有语音讲解,其时间含在2min内。所有被试者需依次触摸所有8幅图像。触摸完毕后,被试者需要回答:
(1)在本次实验之前,是否学习过类似内容的图像?需回答“是”或“否”。
(2)这种理解图像的方式你认为在多大程度上帮助你对图像的理解?以1―10分评分,1分为没有任何帮助,5分为平均帮助,10分为极大帮助。
(3)这种理解图像的方式你认为在多大程度上让你感到舒适?以1―10分评分,1分为极不舒适,5分为平均,10分为极舒适。
被试者以伪随机顺序学习理解8幅触觉图像后,还需要以打乱的顺序再次触摸这8幅图像,并尽可能详尽的描述每幅图像的大意和细节,包括用语言描述和手指指向描述。实验者依据盲人学校相关老师制订的细节内容,给出盲人描述信息完整性的百分比数据。图3为被试者正在进行测试。
3.3 实验结果分析与结论
按照既定实验方法,16名被试者均参与了实验。由于16名盲人的认知能力互有差异,因此本实验着重分析不同的图像和不同的认知方式带来的差别。表1为采用两种方式学习8幅图像的实验结果。
实验结果
图像

方式1

帮助性

方式2

帮助性

方式1

舒适性

方式2

舒适性

方式1再认信息

完整度(%)

方式2再认信息

完整度(%)

平均值 标准差 平均值 标准差 平均值 标准差 平均值 标准差 平均值 标准差 平均值 标准差
图像1 4.5 0.577 8.75 0.957 5 0 9 0.816 95 10 100 0
图像2 5 0 8.25 1.708 4.75 0.5 9.25 0.957 90 11.547 95 10
图像3 5.25 0.957 8.5 1.291 5.25 0.957 8.75 0.957 82.5 9.574 90 5.773
图像4 4.25 0.5 8.25 0.957 5 0 8.5 1.291 67.5 33.040 80 21.602
图像5 5 0 9.25 0.957 5 0 8.75 0.957 62.5 25 85 12.910
图像6 5.5 0.577 9 0.816 5.5 0.577 8 1.826 42.5 29.861 80 8.165
图像7 5.25 0.5 8.25 0.5 4.75 0.5 8.25 0.957 50 35.590 87.5 12.583
图像8 4.75 0.5 8.25 0.957 5 0 8.25 0.957 20 24.495 82.5 9.574
平均 4.937 0.451 8.687 1.018 5.031 0.317 8.594 1.090 63.75 22.388 87.5 10.076
由表1可看出,方式1为一般的触摸方式,帮助性和舒适性的平均分均接近5分,也是盲人触摸图形的一般状态。方式2引入语言描述,其帮助性、舒适性和再任信息完整度在分数上明显高于方式1。经统计计算,方式2与方式1做配对T检验均呈显著性:帮助性显著性0.000, p=95%,舒适性显著性0.000, p=95%,再认信息完整度显著性0.014, p=95%。值得注意的是,图像7和8相较另外6幅更复杂,曲线较多,凸起点的密度较大。通过数据可看出,针对图像7和8,方式1的再认信息完整度低于其它几幅图像,更显著低于方式2的再认信息完整度。因此相比触觉单通道理解图像,触听觉多通道的学习方法,特别是针对复杂图形图像信息,能显著提高盲人对图像的理解认知的能力。
4 盲人多通道交互辅助设备设计探索
基于以上盲人触听觉多通道交互模型和多通道认知实验,我们致力于设计用户体验更好的盲人辅助设备和更有效的交互方式,让盲人也能充分享受互联网带来的信息和乐趣。最早的盲人辅助设备要溯源到1969年James C. Bliss等研究制作的Optacon[5]与Bach-y Rita 等研究制作的Tactile-Vision Substitution Systems(TVSS)系统[19]。它们都采用触觉凸起点阵的形式,以触觉形式分别刺激盲人手指尖和背部,帮助盲人获取信息。现有的盲人辅助设备包括Tiger盲点打印机、盲文点显器、触觉点阵显示器等触觉设备,手持导航器、音频播放器等听觉设备,以及发声数字拼图等触听觉的学习训练用具。
以上辅助设备都力图解决盲人的某一项特定需求,比如读书、读图、听音、导航等,且感官调动较为单一。但在互联网时代,如何积极调动多感官,使盲人更容易获取互联网的丰富信息,该问题一直没有得到很好解决。如今在移动互联网的时代,智能手机终端给盲人群体带来了很大便利,同时也产生了盲人通过移动终端获取多媒体互联网信息的需求。针对以上问题,结合盲人触听觉多通道交互模型与设备硬件、成本等限制条件,我们提出了盲人多通道交互辅助设备设计原则。
4.1 针对移动端与桌面端分别设计
触觉界面的设计需要以界面所承载的信息为中心。不同于视觉屏幕,人眼的视觉分辨率可达300PPI(Pixel Per Inch)以上,而人手指触觉最敏感部位的触觉分辨率只有10PPI[12],所以大尺寸(如A4纸大小)的触觉图形显示器有助于信息承载,体验远优于小型显示器。因此桌面端的盲人辅助设备设计方向是选用大尺寸点阵屏幕和相对大体积、低成本的驱动结构,避免采用昂贵的压电陶瓷[6]驱动技术,并在触觉交互同时辅以语音解释,以抽象语音解释具象实体,采用多通道信息交互。
而在移动端的辅助设备设计中,轻巧、便携为第一要素,因此听觉交互成为主要方式。触觉界面上,大、小尺寸的点阵屏幕用于移动端均不恰当,可以引入震动、可触按钮等形式,以简单的震动反馈和选择输入等形式,辅助听觉界面。
4.2 符合盲人具身认知
盲人用户同样拥有对世界理解的根源,也就是对身体、动作和周围空间的意识构成了最深层、最基本的认知能力。任何盲人辅助设备都要符合盲人用户的心理图示、范畴和概念。在触觉界面上,使用简单几何形状的触感实体和生活常见的纹理材质会带给盲人更好的触摸体验。
4.3 结合目前智能终端
目前的桌面电脑及智能手机拥有越来越强大的信息处理能力,伴随着盲文点显器和语音助手等触听觉辅助设备的应用,盲人也可以正常操作现有的智能电子产品。然而这些辅助方式也不能帮助盲人获得完整的体验,比如盲人使用移动终端的即时通讯社交应用,语音信息和文字信息可以无障碍获取,而好友分享的图像信息则无能为力,这也是目前盲人群体对社交应用的一个痛点。对此的解决方案是可以利用桌面端的触觉图形显示器理解[20−22],或采用众帮形式,志愿者用语音描述图像,回传给用户。
4.4 成本控制
目前,许多盲人辅助设备价格过于昂贵,如Metec.AG公司的触觉图形显示器Display7200[23,24]售价高达5万欧元(约35万人民币),普通盲人用户根本无法承担,也就无法通过触觉理解复杂图形图像。目前广泛使用的压电驱动技术性能虽好,但是成本过高。桌面式触觉图像显示器可以尝试更经济的驱动方式,比如记忆合金[20]、电磁铁[21]和旋转式圆环[22]等相对低成本的驱动硬件。只有通过控制成本,触听觉辅助设备才能被普通盲人用户所接受,从而享受互联网带来的丰富信息。
5 总结与展望
本文从经典的多通道假设和认知以及多感官多通道交互设计的现有研究入手,提出了面向盲人的触听觉多通道交互模型。多通道交互界面中承载的信息流可以拆分为抽象/具象和输入/输出,具象触觉信息与抽象语音描述同步进行,互为辅助。
从触听觉多通道交互模型出发,并结合目前的盲人辅助设备及其交互设计,给出了盲人多通道交互辅助设备设计原则,指导了更多触听觉辅助设备的尝试。笔者希望互联网的发展和交互技术的进步能帮助盲人群体更轻松便捷的生活,以更适合更智能的方式连接互联网,从而享受网络中丰富的信息。

Reference

1.

Salisbury K. Haptics: the technology of touch. HPCwire special to HPCwire, 1995

2.

董士海, 戴国忠, 王坚. 人机沟通有方: 多通道用户界面的发展. 中国计算机用户, 1998(29): 25−27

3.

Dong S, Chen M. The model, method and instances of multimodal user interface. Acta Scientiarum Naturalium Universitatis Pekinensis, 1998, 34(2): 231–239

董士海, 陈敏. 多通道用户界面的模型, 方法及实例. 北京大学学报(自然科学版), 1998, 34(2): 231−239

4.

李宏汀, 陈柏鸿, 葛列众. 触觉交互研究的回顾与展望. 人类工效学, 2008, 14(3): 51−53, 17

5.

Deborah Kent Stein, The Optacon : Past, Present, and Future [2019-01-29]. https: //nfb. org/images/nfb/publications/bm/bm98/bm980506. htm

6.

Wu D Y, Gan J, Wu D Y, Gan J. Assistant haptic interaction technology for blind Internet user. Journal of Engineering Design, 2010, 17(2): 128−133, 155 DOI:10.3785/j.issn.1006-754X.2010.02.010

吴丹玥, 干静. 辅助盲人访问Internet的力/触觉交互技术. 工程设计学报, 2010, 17(2): 128−133, 155

7.

Apple: Siri. http: //www. apple. com/ios/siri/

8.

VoiceOver for OSX. A feature that speaks for itself [2019-01-29]. http://www.apple.com/accessibility/osx/voiceover/

9.

Google Talkbac: Android Apps on Google Play [2019-01-29]. https://play.google.com/store/apps/details?id=com. google. android. marvin. talkback

10.

Allport D A, Antonis B, Reynolds P. On the division of attention: A disproof of the single channel hypothesis. Quarterly Journal of Experimental Psychology, 1972, 24(2): 225–235 DOI:10.1080/00335557243000102

11.

Kokjer K. The information capacity of the human fingertip. IEEE Transactions on Systems, Man, and Cybernetics, 1987, 17(1): 100–102 DOI:10.1109/tsmc.1987.289337

12.

Goldstein E B. Blackwell Handbook of Sensation and Perception. Malden, MA, USA: Blackwell Publishing Ltd., 2005 DOI:10.1002/9780470753477

13.

O'Modhrain S, Giudice N A, Gardner J A, Legge G E. Designing media for visually-impaired users of refreshable touch displays: Possibilities and pitfalls. IEEE Transactions on Haptics, 2015, 8(3): 248−257 DOI:10.1109/toh.2015.2466231

14.

Pawluk D T V, Adams R J, Kitada R. Designing haptic assistive technology for individuals who are blind or visually impaired. IEEE Transactions on Haptics, 2015, 8(3): 258−278 DOI:10.1109/toh.2015.2471300

15.

Vidal-Verdu F, Hafez M. Graphical tactile displays for visually-impaired people. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2007, 15(1): 119−130 DOI:10.1109/tnsre.2007.891375

16.

Lumbreras M, Sanchez J. Interactive 3D Sound Hyperstories for Blind Children. In: the SIGCHI conference on Human Factors in Computing Systems. ACM, 1999, 318−325

17.

Microsoft: Cortana [2019-01-29]. https://dev.windows.com/en-us/cortana

18.

JIAO Yang. Research on tactile display and user experience by haptic perception for the visually impaired. Beijing: Tsinghua University, 2017

焦阳. 面向盲人触觉认知的触觉显示与体验研究. 北京: 清华大学, 2017

19.

Bach-Y-rita P, Collins C C, Saunders F A, White B, Scadden L. Vision substitution by tactile image projection. Nature, 1969, 221(5184): 963–964 DOI:10.1038/221963a0

20.

Schweikhardt W, Klöpfer K. Rechnerunterstützte aufbereitung vonbildshirmtext-grafiken in eine tastbare darstellung. Stuttgart: Stuttgart University Press, 1984

21.

Jiao Y, Gong J T, Xu Y Q. Graille: design research of graphical tactile display for the visually impaired. 2016(1): 94−96 DOI:10.16272/j.cnki.cn11-1392/j.2016.01.024

焦阳, 龚江涛, 徐迎庆. 盲人触觉图像显示器Graile设计研究. 装饰, 2016(1): 94−96

22.

Bristol Braille: Bristol Braille Technology: Canute 360 [2019-01-29]. http://www.bristolbraille.co.uk/

23.

Völkel T, Weber G, Baumann U. Tactile Graphics Revised: The Novel BrailleDis 9000 Pin-Matrix Device with Multitouch Input. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer Berlin Heidelberg, 2008: 835−842 DOI:10.1007/978-3-540-70540-6_124

24.

Metec-AG: Display 7200, a tactile graphical display by Metec-AG [2019-01-29]. https://www.metec-ag.de/en/produkte-graphik-display.php