【５】分析方法

　（１）一致度と信頼性のちがい

評価結果を考察する際に、使われるものに一致度と信頼性がある。そのちがいを次に説明する。（Tinsley　and Weiss）

　評価者間一致度（Interrater agreement)は、複数の評価者が、どの程度同じように評価する傾向があるか、と言うことを表したものである。つまり、評価を数値で表す場合、全員が同じ様な値を付けるほど、評価者間一致度が高いと言える。

　それに対して、評価者間信頼性（Interrater Reliability)は、評価者の評価が平均からの逸脱で表されるとき、それがどの程度大きいか、と言うことを表しているものである。例を挙げれば、何人かの評価者がある方法を用いてAとBを評価したとする。このとき、すべての評価者が、Aの点数をBのより高く付けると、評価者間信頼性は高くなる。しかし、このとき評価者の付けた点数はそれぞれ異なっているということも考えられる。つまり、評価者間信頼性は、評価対象物間の相対的な関係を表したものであり、評価者の評価の値のちがいを表すことはできないのである。一方、点数が狭い範囲にある場合、評価者間信頼性は、低くなることも考えられる。

　すなわち、高い信頼性は評価者が、評価対象に対して、同じ様な点数を付けていることを示すものではなく、低い信頼性もまた、必ずしも評価者が一致していないことを示すものではないのである。そして評価者間一致度と評価者間信頼性の両方が低いとき、評価は価値がないし、研究や応用した目的に使われるべきではないと言える。

　（２）評価者間信頼性の求め方

　ここでは、評価者間信頼性の求め方についてふれる。一般に評価者間信頼性は、相関係数や、分散分析によって得られる指数を用いて表される。ここでは、分散分析によって求められる級内相関係数で信頼性を表した。評価対象と評価者に交互作用がないとするときの級内相関の標準的な方程式は次の通りである。

　　　　　　　　　　　　 Msp － Mse

r =---------------------------

　　　　　　　　　MSp＋MSe(K－1)　　　　　　　　　　　　　　　　　　　　　　

（K：評価者の数）

　　　　　　　　　　　　　　　　　　　　　（MSp：評価対象の不偏分散）

　　　　　　　　　　　　　　　　　　　　　（MSe：誤差の不偏分散）

※一般化係数を求める場合、MSeは評価者の不偏分散に評価者と評価対象との交互作用の不偏分散を足したものとなる。

※信頼性係数を求める場合、MSeは評価対象と評価者との交互作用の不偏分散となる。

　信頼性係数（ｒ）は、このように評価の分散と全体の分散との比で表される。ｒは最大値が１で、これは信頼性が高いことを示す。ｒが０では、信頼性が全くないことを示している。ｒがマイナスの値になるのは、数学的にはあり得るが、実際にはめったにならない。

ｒが、1.00より小さくなるに従って、信頼性も低くなっていく。また、ｒが大きくなるのは、MSp＋MSe（K－１）の値が小さく、 MSp－MSeの値が大きいときである。そうなるには、 MSpの値が大きくなり、 MSeの値とKの値が小さくなることが必要である。しかし、Kの値は一定であるので、 MSeの値が小さくなると、信頼性は高くなるのである。

　さて、同一評価者の評価や評価者の違いを調整した評価を使う場合、評価者間分散は誤差の中に含まれるべきではない。したがって、評価者間信頼性を求めるときには、評価者間分散を誤差から取り除くのが望ましい。これは評価者を特定しているので、他の評価者が行った信頼性にあてはめることはできない。もし他の評価者に信頼性係数をあてはめたいなら、つまり一般化したい場合には、次の２つの必要条件を満たさなければならない。まず第一に、評価者をランダムに選ばなければならない。つぎに評価者が特定されていないので信頼性係数がどの程度変化するかを見きわめるために、評価者間分散を誤差の中に組み込まなければならない。

　以上、信頼性の求め方について述べてきたが、本研究の評価結果の信頼性はこのような手順を踏んで導かれたものである。それについては、後ほど詳しく考察するもとのする。

（３）データの有意性の求め方

私たちは、データの有意性を求めるために、ｔテストを行った。

　これは、２つのグループの間で、指定した変数についての平均値の差の検定を行うものである。

　平均値は等しいとする仮説をたてて検定を行いｔ値を算出する。それは、２つのグループの分散が等しいとする仮説に基づくｔ値と、これらの分散が等しくないとする仮定に基づく近似ｔ値を算出するものである。