妥当性

「この検査は当たりますか」は、性格検査について誰もが最初に訊くことで、その問いには答えがありません。間違った対象について訊いているからです。

妥当性は検査の性質ではありません。検査の得点から立てられた特定の主張の性質です。 同じ質問紙が、ある推論はよく支え、別の推論はまったく支えない。勤勉性の尺度は、その人が経費精算を期限内に出すかを予測する土台としてはまずまずで、昇進させるべきかを決める土台としてはひどい。 同じ器具、同じ得点、二つの主張、二つの判定。

これは問いを避けるために発明された技術論ではありません。分野の定まった立場です。 メシックが長く論じ、この学問の共通の規則書である Standards for Educational and Psychological Testing は、そこから始まります。役に立つ言い換えはこうです。この得点は何を結論するために使われていて、その結論を誰かが確かめたのか。

そうすると問いは答えられるものになります。そして同時に、居心地が悪くなります。無料の検査のほとんどについて、後半の答えが「いいえ」だからです。

日常的に混同されていて、検査を売っている側も混同しています。情報量の少ない順に並べます。

表面的妥当性 —— 測ると言っているものを測っているように見えるか。パーティーが好きかを訊く項目は、明らかに社交性に関係しています。読者が一人で判定できる唯一の種類で、「この検査は当たっていた」という感想はたいていこれを指していて、そして単体ではほとんど価値がありません。 項目一式が完璧に見えて、何も予測しないことはありえます。逆も走ります。よく予測する項目が馬鹿げて見えることもあり、臨床の尺度に無関係に見える質問が混じっているのはそのためです。

内容的妥当性 —— 項目が概念の全体を覆っているか。整理整頓についてしか訊かない勤勉性の尺度は、粘り強さ、熟慮、信頼性を取りこぼしています。短いウェブ検査はここで常に失敗します。覆うには項目が要り、項目は完走率を食うからです。

基準関連妥当性 —— 得点が検査の外の何かを予測するか。測定が自分の食い扶持を稼ぐのはここです。 バリックとマウントのメタ分析は、勤勉性が職種を越えて職務成績を予測することを確立しました。相関の絶対値は控えめで、そして応用心理学の中では最も頑丈な所見の一つです。 この種の数字が一つあれば、項目がどう見えるかはもうどうでもよくなります。

構成概念妥当性 —— 得点が、その概念がそう振る舞うべきように振る舞うか。クロンバックとミールの寄与で、四つの中で最も広い。証拠の網が必要です。概念が関係するはずのものと相関し、区別されるべきものとは相関しないこと。 キャンベルとフィスクの洞察は、後半が前半と同じくらい重要だということで、そしてこの後半が最も頻繁に飛ばされます。既存の不安尺度と0.8で相関する新しい尺度は、新しい概念を示していません。一つの概念に別の名前をつけただけです。

二つは混同されていて、関係は一方向にしか走らないので、正確に書く価値があります。

五キロ重く出る体重計は、完全に信頼できて、完全に妥当ではありません。 毎回同じ答え、毎回間違い。測るたびに十キロ跳ぶ体重計は信頼できず、したがって妥当でもありえません。自分と一致しない測定は、他の何とも一致できないからです。

信頼性は妥当性の上限を決めます。妥当性を供給はしません。 再検査信頼性が最初に訊く価値のある数字であって、決して最後の数字ではない理由がこれです。 高い信頼性係数を公開して妥当性の証拠を出していない検査は、「一貫している」と言っただけで、何を一貫して測っているかは完全に開いたままです。

信頼性の側にも関連した罠があります。内的整合性 —— たいていクロンバックのαとして報告されるもの —— は、項目が互いの言い換えに近いときに上がります。同じ文の言い換えを十個並べた尺度は、見事なαと、ひどい内容的妥当性を持ちます。 高いαは、よく作られた尺度の印であることもあれば、狭い尺度の印であることもあります。

細部は各マニュアルにあるので大づかみに書きますが、順序そのものは争われていません。

ビッグファイブ系の器具が、性格の中では最も強い証拠を持っています。五因子の構造は言語と方法を越えて回収され、尺度は職業・健康・対人関係の帰結を小から中程度の効果量で予測し、研究の蓄積は失敗も記録されているだけの量があります。 予測の大きさは本当に控えめです —— 分散の一桁パーセントを説明する範囲の相関で、これを大きいと引用している人は売り込んでいます。

臨床のスクリーニング器具は、別の方法で下された診断に対して検証されていて、これは要求の厳しい基準です。感度と特異度の数字が公表されているのはそのためです。そして「きちんと評価されるべき人を拾い上げる」という目的に対して検証されていて、多くの人が実際に使っている目的 —— 自己診断 —— に対しては妥当ではありません。

MBTIは、下位の尺度の信頼性はまずまずで、ビッグファイブの次元との収束も実在し、それを特徴づけている主張のほうの証拠が弱い —— カテゴリがカテゴリであること、コードが職務成績やチームの相性を予測すること、心理機能のスタックが存在すること。面白いのは収束のほうです。 それは、器具が実在する何かを測って、情報を捨てる形式で報告していることを意味するからです。タイプ論の枠組みに続きがあります。

エンタメ形式 —— 色、動物、四象限の美学 —— は表面的妥当性だけを持っていて、それは設計どおりです。 誰もそれ以外のふりをしない限り、欠点ではありません。

ここまではどの言語で読んでも同じ話です。日本語で検査を受ける人には、訊くべきことがもう一段あります。

一段めは、この尺度は「日本語版」なのか、ということです。

日本語で受けられる性格尺度の多くは、英語で作られた尺度の日本語版です。作成の作業としては、翻訳し、逆翻訳で確かめ、日本語の標本で因子構造が再現されるかを検討する、という手順を踏みます。

問題は、そこで止まりやすいことです。 因子構造の再現は構成概念妥当性の証拠の一部ですが、一部でしかありません。 その日本語版の得点が日本で何を予測するのか —— 基準関連妥当性 —— まで確かめられている尺度は、ずっと少ない。元の言語で確立された予測力が、翻訳と一緒に渡ってくるわけではありません。

きちんとやられた例もあります。和田さゆりが1996年に 心理学研究 で作成したBig Five尺度は、性格特性語から出発して日本語で五因子を取り出したもので、翻訳ではなく日本語の語彙から作られています。 小塩・阿部・カトローニが2012年に作ったTIPI-Jは十項目の超短縮版で、そして論文自身が、項目数を削ったことの代償を明記しています。 短い尺度は信頼性が低く、誤差の幅が広い。自分の尺度の限界を書いている論文は、書いていない検査より信用できます。 読者が探すべきなのはこの種の文章です。

二段めは、規範標本がどこから来たか、です。

日本語版の尺度が報告するパーセンタイルの比較集団は、しばしば大学生です。 論文を書くのに使える標本がそこだからで、責められる話ではありません。ただし、四十五歳の会社員が大学生の分布に対する自分の位置を読んでいるという事態は起きます。何が起きるかはパーセンタイルと規範のほうに書きました。

三段めは、日本語圏で最も大量に測定が行われている場所についてです。

英語版のこのページは、採用に未検証の検査を使うことを「擁護できず、法域によっては違法」と書けます。日本語圏では、その前提の置き方が違います。

就職の適性検査は、ここでは制度の一部です。SPI3 は2026年3月期の実績で年間16,500社、276.6万人が受検しています。能力検査と性格検査の二本立てで、性格検査はおよそ300問。これは、日本語圏で行われている心理測定の中で、圧倒的に規模の大きいものです。

こう書くのは、この種の検査が粗悪だからではありません。規模が大きいほど、妥当性の問いが具体的になるからです。何を結論するために使われているのか。 「この人が入社後に活躍するか」なのか、「面接に進める人数をまず絞る」なのか。この二つはまったく違う主張で、支えるのに必要な証拠も違います。

そして受検する側にとっての実務的な帰結が一つあります。受検者は、自分の結果を見ません。 報告書は企業へ行きます。つまり日本語圏の多くの人にとって、人生で最も重い場面で使われた心理測定は、本人が中身を確認できなかったものです。 英語版が読者に渡している「何に対して検証されたのかを訊け」という武器は、ここでは振るう相手がいません。

それでも、書いておく価値はあります。 日本語圏にも基準の文書があるからです。日本テスト学会が2007年に出した『テスト・スタンダード——日本のテストの将来に向けて——』は、作成、実施、採点、結果の利用、管理までを通した規準をまとめたもので、米国の Standards の翻訳ではなく、日本の社会的文脈を踏まえて独自に作られています。 受検者の権利、結果の説明責任、目的外使用の禁止といった話が、日本語で、日本の制度を前提に書かれている。「そういう規準は日本には無い」というのは、事実ではありません。知られていないだけです。

最後に、この節の材料が一つの主張を支えていることを書いておきます。二人の相性を予測する、という主張は、この分野で最も検証の薄い部類のものです。 個人の帰結ですら効果量が小さいのに、二人分を掛け合わせた予測はさらに弱くなります。相性の項目がその薄さを扱っていて、日本語圏で相性の話がとりわけ流通しやすいことは、証拠が強いこととは何の関係もありません。

四つ、順番に。一分で済んで、見つけたもののほとんどを失格にします。

主張は何か。 「当たるか」ではなく「何を結論するのに当たるのか」。行動に移したい文を、先に書いてください。

何に対して確かめられたか。 妥当性の主張には外部の基準が要ります。検査のページが自分の内部統計しか引用していないなら、主張は立てられていません。

効果はどれくらいか。 「職務成績を予測する」は、確率を少し動かす程度の相関とも両立します。実在する性格の効果はほぼすべて小さく、小さいは無ではありません。売り文句が匂わせる大きさではない、というだけです。

標本は誰だったか。 ある国の学部生で確立された妥当性係数は、ある国の学部生についての証拠です。

自分たちに向けると、答えはまだらで、書いておく価値があります。私たちのビッグファイブは公開されている項目プールの伝統の上に作られているので、狙っている構成概念には数十年の妥当性の証拠があります。 ただしその証拠は確立された器具に付いているのであって、私たちの30項目版に自動的に付いてくるわけではありません。そして私たち自身の検証研究は公表していません。 日本語版については、さらに一段弱く書く必要があります —— 日本語の標本で外的な基準に照らした検証を、私たちはしていません。

キャリアと職場の検査は、内省に役に立つパターンを報告します。基準関連妥当性の主張はしていません。 リーダーシップ診断の得点を、自分がどうリードするかについての予測として扱わないでください。職場のEQ診断の得点を、自分が同僚にどう映っているかの測定として扱わないでください。どちらも評価的で、しかも目立つ特性で、自己評定が最も当てにならないのはまさにそこです。 その理由は自己報告式の質問紙に見えるものと回答のくせのほうに書きました。スクリーニング形式のものは、得点が出る画面すべてに「診断ではありません」と書いてあり、それが支えられる唯一の主張だからです。

一般則は、私たちにも他の誰にも同じように効きます。結果が何を意味するかを教えて、それが何に対して確かめられたかを一度も言わない検査のページは、示していない計算に対して信用を求めています。