| 致谢 | 第4-5页 |
| 摘要 | 第5-7页 |
| Abstract | 第7-8页 |
| 1 INTRODUCTION | 第15-22页 |
| 1.1 Research Background and Significances | 第15页 |
| 1.2 Research Objectives | 第15-16页 |
| 1.3 Research Content | 第16-19页 |
| 1.4 Research Statement | 第19-20页 |
| 1.5 Thesis Structure | 第20-22页 |
| 2 LITERATURE REVIEW | 第22-34页 |
| 2.1 Human Computer Interaction Overview | 第22-25页 |
| 2.1.1 HCI Evolution | 第24-25页 |
| 2.1.2 HCI Current Research | 第25页 |
| 2.2 Emotion Recognition (ER) General Concepts | 第25-27页 |
| 2.2.1 Human Emotion Expression | 第25-27页 |
| 2.2.2 Affective Computing | 第27页 |
| 2.3 Emotion Recognition research | 第27-33页 |
| 2.3.1 Audio and Visual,Unimodal-based Related Work | 第27-28页 |
| 2.3.2 Multimodal Emotion Recognition | 第28-33页 |
| 2.4 Conclusion of the Chapter | 第33-34页 |
| 3 DATA COLLECTION AND FEATURES EXTRACTION | 第34-56页 |
| 3.1 Data Collection | 第34-41页 |
| 3.1.1 Dataset Collection Design | 第34-37页 |
| 3.1.2 Emotion Recognition-based Datasets Categories | 第37-41页 |
| 3.2 Feature Extraction | 第41-53页 |
| 3.2.1 Feature Construction | 第42-44页 |
| 3.2.2 Feature Selection | 第44页 |
| 3.2.3 Facial Expression Feature Extraction | 第44-52页 |
| 3.2.4 Audio based Feature Extraction | 第52-53页 |
| 3.3 Data Preprocessing | 第53-55页 |
| 3.3.1 Data Cleaning | 第54页 |
| 3.3.2 Normalization | 第54-55页 |
| 3.3.3 Missing Values | 第55页 |
| 3.4 Conclusion of the Chapter | 第55-56页 |
| 4 SPARSE EXTREME LEARNING MACHINE-LEARNING USING PRIVILEGED INFORMATION(S-ELM-LUPI)METHOD FOR CLASSIFICATION | 第56-87页 |
| 4.1 Data Classification Outline | 第56-63页 |
| 4.1.1 Classical Machine Learning Process | 第57-58页 |
| 4.1.2 Mathematical Expression for Classification Task | 第58-60页 |
| 4.1.3 Learning Using Privileged Information (LUPI)Paradigm | 第60-62页 |
| 4.1.4 Formulation of Learning Using Privileged Information | 第62-63页 |
| 4.2 Sparse Extreme Learning Machine | 第63-69页 |
| 4.2.1 Extreme Learning Machine Method Basics | 第63-67页 |
| 4.2.2 Sparse Extreme Learning Machine Method | 第67-69页 |
| 4.3 Sparse ELM-LUPI for Classification | 第69-85页 |
| 4.3.1 Theoretic Principle | 第69-73页 |
| 4.3.2 Proposed Method Evaluation Results and Analysis | 第73-85页 |
| 4.4 Conclusion of the Chapter | 第85-87页 |
| 5 MULTIPLE FEATURE FUSION FOR UNIMODAL EMOTION RECOGNITION | 第87-120页 |
| 5.1 Human Emotion Expression Rule | 第87-90页 |
| 5.1.1 Emotion Recognition Using One Modality | 第88页 |
| 5.1.2 Multiple Features Extraction | 第88-90页 |
| 5.2 Fusion Description | 第90-94页 |
| 5.2.1 Serial Fusion Process | 第90-92页 |
| 5.2.2 Semi-serial Fusion Method | 第92-94页 |
| 5.3 Audio-based Emotion Recognition | 第94-104页 |
| 5.3.1 Audio-based Dataset Description | 第94-95页 |
| 5.3.2 Audio-based Multiple Features Extraction | 第95-96页 |
| 5.3.3 Audio based Emotion Recognition Experiments Setup | 第96-97页 |
| 5.3.4 Audio-based Emotion Recognition Results and discussion | 第97-104页 |
| 5.4 Facial Expression Recognition | 第104-118页 |
| 5.4.1 Facial Expression Datasets Description | 第104-106页 |
| 5.4.2 Facial-based Multiple Features extraction | 第106-107页 |
| 5.4.3 Facial Expression Recognition Experiments description | 第107-108页 |
| 5.4.4 Facial Expression Recognition Results and Discussion | 第108-118页 |
| 5.5 Conclusion of the Chapter | 第118-120页 |
| 6 MULTIMODAL EMOTION RECOGNITION USING THE LUPI PARADIGM | 第120-141页 |
| 6.1 Multimodal Emotion Recognition (MER) | 第120-126页 |
| 6.1.1 Emotion Definition, Challenges and Opportunities | 第121-122页 |
| 6.1.2 Multimodal Information Fusion for Emotion Recognition | 第122-123页 |
| 6.1.3 Privileged Information in Multimodal Emotion Recognition | 第123-124页 |
| 6.1.4 Proposed Method for MER Fusion | 第124-126页 |
| 6.2 Dataset Description | 第126-130页 |
| 6.2.1 eNTERFACE'05 Audio-Visual Dataset Preprocessing | 第127-128页 |
| 6.2.2 Multimodal Feature Extraction | 第128-130页 |
| 6.3 Multimodal Emotion Recognition Experiments Design | 第130-132页 |
| 6.3.1 Fusion Procedure | 第130-131页 |
| 6.3.2 Objectives of the Experiments | 第131-132页 |
| 6.4 Multimodal-based Experiment Results and Discussion | 第132-140页 |
| 6.4.1 Performance evaluation | 第132-134页 |
| 6.4.2 Comparison to Other Methods | 第134-137页 |
| 6.4.3 Improvement Evaluation | 第137-139页 |
| 6.4.4 Evaluation of individual modality contribution | 第139-140页 |
| 6.5 Conclusion of the Chapter | 第140-141页 |
| 7 CONCLUSION AND FUTURE DIRECTIONS | 第141-145页 |
| 7.1 General Conclusion | 第141-142页 |
| 7.2 Future Work | 第142-145页 |
| 参考文献 | 第145-165页 |
| 作者简历及在学研究成果 | 第165-168页 |
| 学位论文数据集 | 第168页 |
