MRR@K P@K R@K意义阐述与对比
文章目录
- 概述
- @K是什么
- 举例
- P@5
- R@5
- MRR@5
- 讨论
- P@K R@K区别
- MRR
概述
首先需要说的是，这几个东西都是评价标准，在我当前工作的领域而言，其衡量的是推荐系统的性能。我们介绍一下这几个东西的全称是什么：
- MRR(Mean Reciprocal Rank)
- P(Precision)
- R(Recall)
@K是什么
这个的意思是在得到推荐的得分之后，我们会按照得分进行排序，我们评估的是前K个
举例
这些概念用例子最好解释，我在这里给一个背景，后面的例子以此为基础
我们有9个球，5黑4白，从中随机排序找前5个（这里K就是5），目标是找白球
P@5
这个计算的是前K个结果中包含几个目标项
比如前五个球里面有4个白球，P@5 = 4 / 5 = 0.8
R@5
这个计算在前K个中出现的目标占总体目标的比例
比如前五个球里有3个白球，R@5 = 3 / 4 = 0.75
MRR@5
这里我们改一下例子的背景，现在我们有1个白球和5个黑球，进行3次排序。第一次白球在第2名，第二次在第一名，最后一次在第六名
我们计算：MRR@5 = 13(12+11+0)=0.5\frac{1}{3}(\frac{1}{2} + \frac{1}{1} + 0) = 0.531(21+11+0)=0.5
可以看到，这个就是目标出现位置倒数的平均数，特别的，如果在前K个中没出现记为0.
讨论
P@K R@K区别
这里我再说明一下，这两个最主要的区别在于总体的选择，对于P来说，总体是前K个东西；而对于R来说，总体是所有的目标物品。
MRR
这个我认为只在单目标的时候比较好用，另外对于K的选择其实也是很tricky的事情，说实在的我其实觉得可以不用这个K，直接对所有的取排名就可以。这样进行截断，如果有非常多排在K+1的情况，其实MRR并不能很好地反应模型的表现
上一篇：[图神经网络]图结构和图的表示
下一篇：jQuery 遍历方法总结