< 上一个 | 内容 | 下一个 >

7.4.3 适当评分规则的应用

适当评分规则在各个领域都有广泛的应用。在气象学中,对数评分和 Brier 评分在气象学中被广泛用于评估气象预测的准确性。在概率预测领域中,对数评分、Brier 评分和 Hyvärinen 评分等适当评分规则在概率预测中常被应用。例如,在事件发生概率预测、股票价格波动预测等场景中,使用适当评分规则可以衡量预测模型的准确性和可靠性。在人工智能和机器学习领域,对数评分和 Brier 评分等适当评分规则经常用于评估分类和回归模型的性能以及用来衡量模型的预测准确性,以选择最优的模型。在医学领域,医学诊断模型的准确性


可以通过适当评分规则进行评估,帮助医生做出更可靠的诊断。在金 融市场和经济领域,适当评分规则可以用于评估预测模型对股票价格、汇率和经济指标等的预测准确性,帮助投资者和政策制定者做出决策。在环境监测和气候变化研究中,适当评分规则可以用于评估模型对环 境变量和气候趋势的预测性能。

在近期也有很多的文献使用适当评分规则方法对问题进行求解。苏炜杰在 2020 年对适当评分规则进行了一些讨论[9] 。文章主

要讨论了在某些情况下,评审人员可能给出带有噪声的评分,评分会 用于选择高质量项目(例如,对大型会议论文进行同行评审)。而项 目的所有者可能了解这些项目的真实得分,但是却没有提供这些信息。为了解决信息的保留问题,文章设计了 Isotonic Mechanism 方法,通 过利用项目所有者愿意提供的特定信息来改进评审人员提供的不精 确原始评分。该机制使用项目的所有者提供其所拥有的所有项目从好 到差的排名和评审人员提供的各个项目的原始评分作为输入,通过解 决凸优化问题报告项目的调整评分。在一定条件下,证明了项目所有 者的最优策略是诚实地按照其所知道的项目质量排序报告项目的真 实排名,以最大化预期效用。此外,还证明了这种由项目所有者辅助 的机制提供的调整评分确实比评审人员提供的原始评分更准确。

Papireddygari Waggoner 2022 年讨论了委托人和代理人签订合同相关的问题[10] 。其中代理可以获取到一些委托人接触不到的信息,而委托人只能观测到最后的结果。本文的核心内容就是为委托人设计合同,从而通过设计的合同激励代理人去积极的进行工作。总体而言,这篇文章通过适当评分规则的运用,研究了涉及信息获取的合同设计问题。通过这种方法,作者能够解决代理在信息不对称的情况下的道德风险和激励信息获取的问题。研究结果为特定情况和一般问题提供了新颖而高效的解决方案,对于实际合同设计和信息获取的决策具有重要意义。


Chen Hartline 2023 年研究了在线上题库抽题的考试中更公平的结果打分的评分算法[11] 。在随机考试中,每个学生会被随机选取来自一个庞大的题库的一小部分问题进行回答,但是问题有的困难有的简单,所以抽到困难问题的学生相比较而言可能会获得更差的成绩。目前使用的主要的评分规则是简单平均法,即通过对每个学生回答的问题得分进行平均,来计算学生成绩。这种评分方法在理论的预期上是公平的,但在实际的情况下可能不公平。为了解决公平评分问题,该文章采用了最大似然估计来处理 Bradley Terry-Luce 模型在学生和问题在图上的情况。通过数学分析,证明了当每个学生回答的问题数量至少为学生数量的三次开根时,最大似然估计方法得到的结果与真实结果十分接近。这个研究结果对于评估和改进随机考试的评分方法具有重要的应用价值。