目次
効果量とは?
効果量dは統計学的に2群間の差の大きさを表す指標のことです。
統計的有意性を示すのによく「p値」が用いられますが、p値はサンプルサイズ(標本の大きさ)が大きくなるほどp値が小さくなるという性質があります。
例えば、あるサンプルサイズ(50サンプル)ではp < 0.5でなくても500サンプルにしたら同じ研究内容でもp < 0.5となり、統計的に有意差ありと主張できてしまう問題があります。
- 50サンプル p値 0.55→有意差無し
- 100サンプル p値0.45→有意差有り??
p値に対しては誤用など様々な議論がありますがここではとりあげません。
参考 「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 - ITmedia NEWSITmedia NEWS
効果量には様々な定義がありますがよく使われるのはコーエンのd(Cohen’s d)です。
効果量dは平均値と標準偏差から導き出されます。シンプルな計算方法では
効果量d = 二群間の平均値の差 ÷ 2群の標準偏差の平均値
で求められます。
効果量が意味するものは?
効果量dが1の時、二群間の平均値の差は標準偏差1つ分あるということを意味しています。効果量dは大きいほど二群間の平均値の差は大きいといえます。よく言われるp値は下記のように差を表す指標ではないので注意しましょう。
統計学では少しややこしいですが、二群間の平均値に差があるということを示すのに、二群間で差がないだろうという帰無仮説(無に帰る→否定されること前提で立てられる仮説)を立てます。差がない確率を計算して100%差がないならやっぱり差がない、逆に差がない確率が1%なら差があるだろうと帰無仮説は却下されて対立仮説→差があるだろうと主張できます。
差がない確率がどのくらいから否定できるかは色々ありますが、5%など一定の基準(有意水準)より低ければよいだろうと一般的に言われます。この有意水準がp値です。このp値が小さいほど差がない確率が低い→差がある確率が高いということです。
- 有意水準が低さは二群間の差の大きさとは関係ない
- p値はサンプルサイズ(n数)が多いほど小さくなりやすい(サンプルサイズの影響を受ける)
効果量dが大きいほど効果が大きいといえます。