| 提要 | 第4-5页 |
| Abstract | 第5页 |
| Acknowledgements | 第6-12页 |
| Chapter 1 Introduction | 第12-19页 |
| 1.1 Background of the study | 第12-15页 |
| 1.2 Aims of the study | 第15-17页 |
| 1.3 Organization of the thesis | 第17-19页 |
| Chapter 2 Literature Review | 第19-46页 |
| 2.1 Introduction | 第19页 |
| 2.2 Rater variability | 第19-23页 |
| 2.2.1 Definition of rater variability | 第19-20页 |
| 2.2.2 Consistency | 第20-21页 |
| 2.2.3 Severity | 第21页 |
| 2.2.4 Interaction/Bias | 第21-22页 |
| 2.2.5 Accuracy | 第22-23页 |
| 2.3 Rater training | 第23-36页 |
| 2.3.1 Definition and types of rater training | 第23-26页 |
| 2.3.2 A survey of rater training studies | 第26-30页 |
| 2.3.3 Methods in rater training research | 第30-33页 |
| 2.3.4 Effects of rater training | 第33-36页 |
| 2.4 Many-facet Rasch measurement | 第36-41页 |
| 2.4.1 A brief introduction | 第36-38页 |
| 2.4.2 Many-facet Rasch model for rater invariance | 第38-39页 |
| 2.4.3 Many-facet Rasch model for rater accuracy | 第39-41页 |
| 2.5 Summary and research questions | 第41-46页 |
| 2.5.1 Summary of literature | 第41-44页 |
| 2.5.2 Research questions | 第44-46页 |
| Chapter 3 Methods | 第46-59页 |
| 3.1 Introduction | 第46-47页 |
| 3.2 Context of scoring | 第47-49页 |
| 3.3 Participants | 第49-50页 |
| 3.4 Materials | 第50-52页 |
| 3.4.1 Training materials | 第50-51页 |
| 3.4.2 Evaluation materials | 第51-52页 |
| 3.5 Training procedures | 第52-54页 |
| 3.5.1 Collaborative training | 第52-53页 |
| 3.5.2 Self-paced training | 第53-54页 |
| 3.6 Data collection | 第54-55页 |
| 3.6.1 Rating data | 第54页 |
| 3.6.2 Accuracy rating data | 第54-55页 |
| 3.7 Data analyses | 第55-58页 |
| 3.7.1 Model Ⅰ: rater invariance | 第55-57页 |
| 3.7.2 Model Ⅱ: rater accuracy | 第57-58页 |
| 3.8 Summary | 第58-59页 |
| Chapter 4 Results | 第59-90页 |
| 4.1 Introduction | 第59-60页 |
| 4.2 Model Ⅰ: Rater invariance | 第60-71页 |
| 4.2.1 Summary statistics for ratings | 第60-62页 |
| 4.2.2 Overview of the Wright map | 第62-64页 |
| 4.2.3 Rater calibrations | 第64-66页 |
| 4.2.4 Model-data fit | 第66-68页 |
| 4.2.5 Interactions | 第68-71页 |
| 4.3 Model Ⅱ: Rater accuracy | 第71-81页 |
| 4.3.1 Summary statistics for accuracy ratings | 第71-73页 |
| 4.3.2 Overview of the Wright map | 第73-75页 |
| 4.3.3 Rater accuracy calibrations | 第75-77页 |
| 4.3.4 Model-data fit | 第77-78页 |
| 4.3.5 Interactions | 第78-81页 |
| 4.4 Comparison between training methods | 第81-89页 |
| 4.4.1 Comparison based on Model Ⅰ | 第81-85页 |
| 4.4.2 Comparison based on Model Ⅱ | 第85-89页 |
| 4.5 Summary | 第89-90页 |
| Chapter 5 Discussion | 第90-109页 |
| 5.1 Introduction | 第90页 |
| 5.2 Effects of training on rater invariance | 第90-96页 |
| 5.3 Effects of training on rater accuracy | 第96-103页 |
| 5.4 Comparability between training methods | 第103-108页 |
| 5.5 Summary | 第108-109页 |
| Chapter 6 Conclusion | 第109-114页 |
| 6.1 Summary of key findings | 第109-110页 |
| 6.2 Implications of the study | 第110-112页 |
| 6.3 Future research directions | 第112-114页 |
| References | 第114-120页 |
| Appendix A.ETIC sample task | 第120-121页 |
| Appendix B.ETIC analytic rating scale | 第121-122页 |
| Appendix C.Facets specification file for Model Ⅰ | 第122-123页 |
| Appendix D:Facets specification file for Model Ⅱ | 第123-124页 |
| Appendix E.Differential rater accuracy profiles | 第124-129页 |
