信頼性と妥当性は、研究の質を評価するための概念です。 信頼性と妥当性は、研究の質を評価するために用いられる概念で、ある手法や技術、テストがどれだけよく測定されているかを示します。
特に定量的な研究では、研究デザインの作成、手法の計画、結果の記述の際に、信頼性と妥当性を考慮することが重要です。
| 信頼性 | 妥当性 | ||
|---|---|---|---|
| 何を教えてくれるの？ | 同じ条件で研究を繰り返したときに、その結果がどの程度再現できるか | その結果が、測定しようとしていることを本当に測定しているか | 。 |
| どのように評価されるか | 時間、異なる観測者、テスト自体の各部分における結果の一貫性をチェックすることによって。 | 結果が確立された理論や同じ概念の他の尺度にどれだけ対応しているかをチェックすることによって。 | |
| どのように関連するかth | 信頼性の高い測定は、常に有効であるとは限りません：結果は再現可能かもしれませんが、必ずしも正しいとは限りません。 | 有効な測定は、一般的に信頼性があります：もしテストが正確な結果を出すなら、それらは再現可能であるべきです。 |
信頼性と妥当性の理解
信頼性と妥当性は密接に関連していますが、異なる意味を持っています。 妥当性がなくても、信頼性のある測定は可能です。
信頼性とは
信頼性とは、ある方法でどれだけ一貫して何かを測定できるかということです。
妥当性とは
妥当性とは、ある方法が測定しようとしているものをどれだけ正確に測定しているかということです。
信頼性の高さは、測定が有効であることを示す一つの指標です。
サンプルの温度が変わらないように注意深く条件をコントロールしているにもかかわらず、温度計が毎回異なる温度を示している場合、温度計が故障している可能性があり、その測定値は妥当ではありません。
ただし、信頼性だけでは妥当性を確保するには不十分です。
妥当性は信頼性よりも評価が難しいですが、それ以上に重要です。 有用な結果を得るためには、データを収集するために使用する方法が有効でなければなりません。つまり、研究は、主張している内容を測定していなければならないのです。
信頼性と妥当性はどのように評価されますか
信頼性は、同じ測定の異なるバージョンを比較することで推定できます。 妥当性の評価は難しいですが、結果を他の関連するデータや理論と比較することで推定できます。
Types of reliability
さまざまなタイプの信頼性は、さまざまな統計的手法によって推定することができます。
| 何を評価するのか？ | Example | |
|---|---|---|
| Test-retest | 時間を超えた測定値の一貫性：測定を繰り返したときに同じ結果が得られるか？ | あるグループの参加者が、性格特性を測定するためにデザインされたアンケートに回答しました。 |
| Interrater | The consistency of a measure across raters or observers: do you get the same result when different people conduct the same measurement? | 評価基準のチェックリストに基づいて、5人の審査員が同じ学生のプロジェクトに対して実質的に異なる結果を提出しました。 |
| 内部的な一貫性 | 測定自体の一貫性：同じものを測定するために設計されたテストの異なる部分から同じ結果を得ることができますか？ | あなたは自尊心を測定するためのアンケートを設計しました。 もしあなたがランダムに結果を2つに分けた場合、2つのセットの結果の間には強い相関関係があるはずです。 |
Types of validity
測定値の妥当性は、主に3つのタイプの証拠に基づいて推定することができます。 それぞれのタイプは、専門家の判断や統計的手法によって評価されます。
| 何を評価するのか？ | Example | |
|---|---|---|
| Construct | 測定対象の概念に関する既存の理論や知識への測定値の適合性のこと。 | 自尊心の質問は、自尊心の概念に関連することが知られている、または想定される他の特性（社会的スキルや楽観主義など）を測定することによって評価することができます。 |
| 内容 | 測定が測定されている概念のすべての側面をカバーしている範囲。 | あるクラスの学生のスペイン語レベルを測定することを目的としたテストは、リーディング、ライティング、スピーキングのコンポーネントを含みますが、リスニングのコンポーネントはありません。 |
| 基準 | ある測定の結果が同じ概念の他の有効な測定とどの程度対応しているか | ある地域の有権者の政治的な意見を測定するために調査を行います。 |
因果関係の妥当性を評価するためには、内的妥当性（実験の設計）と外的妥当性（結果の一般化）も考慮する必要があります。
研究の妥当性と信頼性を確保する方法
結果の信頼性と妥当性は、強力な研究デザインを作成することにかかっています。
結果の信頼性と妥当性は、強力な研究デザインを作成し、適切な方法とサンプルを選択し、慎重かつ一貫性のある研究を行うことで決まります。
妥当性の確保
何かの変化（心理的特性、能力レベル、身体的特性など）を測定するためにスコアや評価を使用する場合、結果が実際の変化をできる限り正確に反映することが重要です。
- 適切な測定方法の選択
測定方法や測定技術が高品質で、知りたいことを正確に測定することを目的としていることを確認してください。
例えば、ある性格特性のデータを収集するためには、信頼性と妥当性があると考えられる標準化された質問票を使用することができます。
- 対象者の選択には適切なサンプリング方法を用いる
一般化可能な有効な結果を得るためには、調査対象となる集団を明確に定義します（例：特定の年齢層、地理的な場所、職業の人々など）。
信頼性の確保
信頼性は、データ収集のプロセス全体を通して考慮する必要があります。
- Apply your methods consistently
方法を慎重に計画し、測定ごとに同じ手順を同じ方法で実行するようにします。
- 研究の条件を標準化する
データを収集する際には、結果にばらつきをもたらす可能性のある外部要因の影響を減らすために、できるだけ一貫した状況を維持してください。
例えば、実験のセットアップでは、すべての参加者に同じ情報を与え、同じ条件でテストするようにします。
Where to write about reliability and validity in a thesis
論文や学位論文の様々なセクションで、信頼性と妥当性について議論するのが適切でしょう。 研究の計画や結果の解釈において、これらを考慮に入れたことを示すことで、自分の作品の信頼性や信用性を高めることができます。
| セクション | 考察 |
|---|---|
| 文献調査 | 信頼性・妥当性のある方法を考案・改善するために、他の研究者は何をしたのか？ |
| 方法論 | どのようにして使用される測定の信頼性と妥当性を確保するために研究を計画しましたか？ |
| 結果 | 信頼性と妥当性を計算した場合、主な結果と一緒にこれらの値を記載します。 |
| 議論 | ここで、実際にどのように信頼性と妥当性があったかについて話します。 |
| ディスカッション | ここでは、あなたの結果がどのように信頼性と妥当性を持っているかについて話します。 |
| 結論 | もしも信頼性や妥当性があなたの調査結果にとって大きな問題であったならば、ここで言及することは役に立つかもしれません。 |