摘要 | 第3-5页 |
ABSTRACT | 第5-6页 |
英文专有名词及缩写对照表 | 第9-10页 |
第一章 视觉与听觉跨模态转换效应 | 第10-25页 |
1.1 注意力及其对感官信息处理的作用 | 第10-15页 |
1.1.1 注意力的定义 | 第10页 |
1.1.2 注意力模型 | 第10-13页 |
1.1.3 注意力转移 | 第13-15页 |
1.1.3.1 Task switch | 第13-14页 |
1.1.3.2 Top-down 与bottom-up | 第14-15页 |
1.2 多感官模式交互作用(cross-model Interaction) | 第15-22页 |
1.2.1 Inter-sensory bias | 第15页 |
1.2.2 视觉的主导作用(visual dominance) | 第15-16页 |
1.2.3 刺激-反应相容性:Simon 效应(S-R compatibility: simon effect) | 第16-17页 |
1.2.4 刺激-刺激一致性(S-S congruence) | 第17页 |
1.2.5 转移开销(shift cost) | 第17-19页 |
1.2.6 感官模式转换效应(modality shift effect, MSE) | 第19-22页 |
1.3 本文的研究目标及创新点 | 第22-24页 |
1.4 本章小结 | 第24-25页 |
第二章 实验设计与研究方法 | 第25-42页 |
2.1 实验设计 | 第25-31页 |
2.1.1 本课题实验设计 | 第25-29页 |
2.1.1.1 行为学实验设计 | 第25-26页 |
2.1.1.2 脑电实验设计 | 第26-29页 |
2.1.2 刺激发生软件 | 第29-31页 |
2.2 研究方法 | 第31-34页 |
2.2.1 心理行为学 | 第31-32页 |
2.2.2 事件相关电位 | 第32-34页 |
2.2.2.1 事件相关电位介绍 | 第32-33页 |
2.2.2.2 事件相关电位在注意力转移以及modality shift effect 中的研究 | 第33-34页 |
2.3 实验环境 | 第34-38页 |
2.3.1 刺激信号产生和呈递 | 第34页 |
2.3.2 放大器 | 第34-36页 |
2.3.3 同步信号 | 第36-37页 |
2.3.4 EEG 数据记录 | 第37-38页 |
2.3.4.1 电极选择 | 第37页 |
2.3.4.2 导联选择 | 第37-38页 |
2.4 数据采集 | 第38-40页 |
2.4.1 受试者 | 第38页 |
2.4.2 行为学数据采集 | 第38页 |
2.4.3 脑电数据采集 | 第38-40页 |
2.5 本章小结 | 第40-42页 |
第三章 数据处理与实验结果 | 第42-74页 |
3.1 行为学数据分析 | 第42-48页 |
3.1.1 行为学数据处理 | 第42页 |
3.1.2 行为学结果 | 第42-48页 |
3.2 脑电数据分析 | 第48-69页 |
3.2.1 脑电数据处理 | 第48-53页 |
3.2.1.1 数据格式 | 第48-49页 |
3.2.1.2 去伪迹 | 第49-50页 |
3.2.1.3 基线校正 | 第50-51页 |
3.2.1.4 数字滤波 | 第51-52页 |
3.2.1.5 数据分段和叠加 | 第52-53页 |
3.2.2 ERP 结果 | 第53-69页 |
3.2.2.1 Cue 诱发的ERP | 第56-58页 |
3.2.2.2 视觉cue 造成的注意力转移 | 第58-62页 |
3.2.2.3 听觉cue 造成的注意力转移 | 第62-65页 |
3.2.2.4 注意力转移开始的时间 | 第65-66页 |
3.2.2.5 刺激诱发的ERP 的switch 和repeat 效应 | 第66-69页 |
3.3 对实验结果的讨论 | 第69-73页 |
3.4 本章小结及研究展望 | 第73-74页 |
第四章 A-Sight: 基于视听模态转换的导盲系统 | 第74-83页 |
4.1 前期工作和待解决的问题 | 第74-76页 |
4.2 算法优化、系统实时性和条形码识别有效范围拓展 | 第76-79页 |
4.3 SoundView 系统测试结果与讨论 | 第79-81页 |
4.3.1 实验一:识别率测试 | 第79-81页 |
4.3.2 实验二:处理速度测试 | 第81页 |
4.4 本章小结 | 第81-83页 |
参考文献 | 第83-85页 |
附录一 EEG 数据预处理和ERP 叠加程序 | 第85-88页 |
附录二 数据图表绘制程序 | 第88-89页 |
附录三 受试者信息记录表和实验知情同意书 | 第89-90页 |
致谢 | 第90-91页 |
攻读硕士学位期间发表论文、专利及获奖情况 | 第91-92页 |
上海交通大学学位论文答辩决议书 | 第92-94页 |