| ABSTRACT | 第1-6页 |
| 摘要 | 第6-11页 |
| List of abbreviations | 第11-12页 |
| List of figures | 第12-13页 |
| List of tables | 第13-14页 |
| Chapter 1 Introduction | 第14-24页 |
| ·Research orientation and questions | 第14-15页 |
| ·Rationales of the study | 第15-21页 |
| ·Rater variability as key influencing factor in scoring validity | 第15-16页 |
| ·Status quo of studies on rater variability | 第16-19页 |
| ·Significance of the present study | 第19-21页 |
| ·Definition of key terms | 第21-23页 |
| ·Overview of the dissertation | 第23-24页 |
| Chapter 2 Studies on rater variability | 第24-70页 |
| ·Introduction | 第24页 |
| ·Rater issue in performance assessment | 第24-26页 |
| ·Statistical models:detecting and measuring patterns of rater effect | 第26-40页 |
| ·Introduction | 第26页 |
| ·Rater reliability in Classical Test Theory | 第26-28页 |
| ·Rater facet as variance component in Generalizability Theory | 第28-31页 |
| ·Rater calibration in Many-Facet Rasch Model | 第31-40页 |
| ·Summary | 第40页 |
| ·Focus on raters:exploring raters' decision-making | 第40-67页 |
| ·Raters' decision-making:the"black box"behind the final ratings | 第40-42页 |
| ·Indirect evidence | 第42-46页 |
| ·Direct investigation of rating process:insights from verbal protocols | 第46-63页 |
| ·Frameworks of rating process | 第63-67页 |
| ·Summary | 第67-70页 |
| Chapter 3 Rating process and rater belief | 第70-116页 |
| ·Introduction | 第70-71页 |
| ·Subjective scoring:a matter of reliability or validity? | 第71-74页 |
| ·Rating process and rater beliefs:looking into rater variability | 第74-100页 |
| ·Raters' cognitive processes:exploring what go through raters' mind | 第74-83页 |
| ·Rater beliefs:seeking the mental basis for raters' decision-making | 第83-100页 |
| ·Factors accounting for rater variability | 第100-108页 |
| ·External factors | 第101-103页 |
| ·Internal factors | 第103-107页 |
| ·Situational factors | 第107-108页 |
| ·A framework for comparison between rater groups | 第108-111页 |
| ·Establishing focus of the empirical study | 第111-113页 |
| ·Research orientation and questions | 第113-116页 |
| ·Research orientation | 第113页 |
| ·Research questions | 第113-116页 |
| Chapter 4 Methodology | 第116-148页 |
| ·Introduction | 第116-117页 |
| ·Context of the study | 第117-122页 |
| ·General introduction to CET4 | 第117-118页 |
| ·Writing task in CET4 | 第118-120页 |
| ·Essay scoring procedures and rubrics in CET4 | 第120-122页 |
| ·Data collection | 第122-134页 |
| ·Materials | 第122-124页 |
| ·Participants | 第124-126页 |
| ·Pilot study | 第126-127页 |
| ·Procedures | 第127-134页 |
| ·Data analysis | 第134-147页 |
| ·Assessing rating performance using MFRM | 第135-139页 |
| ·Verbal protocol analysis | 第139-147页 |
| ·Summary | 第147-148页 |
| Chapter 5 Results and discussion | 第148-228页 |
| ·Introduction | 第148页 |
| ·Grouping raters using MFRM analysis | 第148-159页 |
| ·General quality of ratings | 第149-154页 |
| ·Comparison among raters | 第154-157页 |
| ·Identifying rater groups | 第157-159页 |
| ·Internal processes | 第159-194页 |
| ·Text focus (text image) | 第159-175页 |
| ·Cognitive and meta-cognitive behaviors | 第175-194页 |
| ·Belief systems | 第194-220页 |
| ·Belief about self | 第195-199页 |
| ·Belief about the target of assessment | 第199-210页 |
| ·Belief about the assessment instrument | 第210-216页 |
| ·Summary of findings and discussion | 第216-220页 |
| ·General discussion:What makes a good rater? | 第220-227页 |
| ·The chain of influence on ratings | 第220-224页 |
| ·Rater beliefs as key factor underlying rater variability | 第224-226页 |
| ·Scoring validity and judgment community | 第226-227页 |
| ·Summary | 第227-228页 |
| Chapter 6 Conclusions | 第228-240页 |
| ·Introduction | 第228页 |
| ·Main findings recapitulated and conclusions | 第228-231页 |
| ·Main findings | 第228-230页 |
| ·Conclusions | 第230-231页 |
| ·Contribution of the present study | 第231-235页 |
| ·Theoretical implications | 第231-233页 |
| ·Methodological implications | 第233-234页 |
| ·Practical implications | 第234-235页 |
| ·Limitations | 第235-236页 |
| ·Further research efforts to be made | 第236-240页 |
| REFERENCES | 第240-262页 |
| ACKNOWLEDGEMENT | 第262-264页 |
| APPENDICES | 第264-282页 |
| CURRICULUM VITAE | 第282-283页 |
| PUBLICATIONS | 第283页 |
