Skip to content

配对检验与非参数检验 ​

在同一组数据集、同一组随机种子上比较两种方法时,应该用配对检验;数据明显偏斜(例如延迟)时,用非参数检验更稳妥。

说明 ​

  • 配对检验要求两组数据一一对应(第 i 个数是同一个任务、同一个种子上的结果),两组的个数必须相同。
  • 结果和 SciPy 1.18 的 ttest_rel、wilcoxon、mannwhitneyu 的默认设置一致(单元测试中对照过)。
  • 非参数检验比较的是两组数据的整体位置(中位数),不需要正态分布的假设,但样本很少时检验能力较弱。