| 摘要 | 第1-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第6-12页 |
| ·人工评价方法的需求分析 | 第7-9页 |
| ·用户相关度 | 第7-8页 |
| ·日志分析方法的数据来源 | 第8页 |
| ·人工评价和日志分析两种方法的比较 | 第8-9页 |
| ·论文的研究重点、工作思路与主要成果 | 第9-10页 |
| ·总结 | 第10-12页 |
| 第二章 人工评价系统的设计 | 第12-29页 |
| ·在线商店检索系统的特征 | 第12-16页 |
| ·系统的评估模块的功能 | 第12-13页 |
| ·在线商店检索结果质量的评价标准 | 第13-14页 |
| ·在线商店用户的检索习惯 | 第14-16页 |
| ·系统用户经历设计 | 第16-18页 |
| ·明确实验评估标准 | 第18-20页 |
| ·如何定义系统的评估标准 | 第18-19页 |
| ·测试工人对评估标准的理解 | 第19-20页 |
| ·使用Golden Set | 第20-23页 |
| ·分配Golden Set数据的比例 | 第21页 |
| ·Golden Set数据的分布 | 第21-23页 |
| ·商品其他属性对评估结果的影响 | 第23-25页 |
| ·如何选取有效属性 | 第24-25页 |
| ·使用关键字的属性还是结果商品的属性 | 第25页 |
| ·成本控制 | 第25-27页 |
| ·确定合理的人工评价深度 | 第26页 |
| ·重用人工评价结果 | 第26-27页 |
| ·总结 | 第27-29页 |
| 第三章 人工评价结果的统计分析 | 第29-45页 |
| ·查全率和查准率 | 第29-31页 |
| ·关注查询结果顶端的商品 | 第31-36页 |
| ·日志分析方法数据采集的缺点 | 第32-35页 |
| ·人工评价方法的数据设置 | 第35-36页 |
| ·人工评价结果的DCG分析 | 第36-39页 |
| ·人工评价结果的nDCG分析 | 第39-41页 |
| ·人工评价结果的MRR分析 | 第41-42页 |
| ·人工评价结果的T检验 | 第42-44页 |
| ·总结 | 第44-45页 |
| 第四章 过滤人工评价结果中噪音数据 | 第45-55页 |
| ·本章使用的符号和其他的说明 | 第45页 |
| ·常用的一致性水平检测指标 | 第45-49页 |
| ·Fleiss' multi-rater kappa | 第45-46页 |
| ·Kendall W | 第46-47页 |
| ·Krippendorff's Alpha | 第47页 |
| ·三种常用统计相关量的劣势 | 第47-49页 |
| ·适合人工评价结果的一致性水平检测指标 | 第49-53页 |
| ·百分比一致性方法(Agreement Percentage) | 第49-50页 |
| ·多数票一致性方法(Agreement With Majority Vote) | 第50-51页 |
| ·AC1 | 第51-52页 |
| ·过滤后的DCG比较 | 第52-53页 |
| ·结论 | 第53-55页 |
| 第五章 结论和未来的工作展望 | 第55-57页 |
| ·论文总结 | 第55页 |
| ·未来工作展望 | 第55-57页 |
| 参考文献 | 第57-60页 |
| 致谢 | 第60-61页 |
