本文へスキップ
医用画像情報学

ROC解析（感度・特異度・AUC・観察者性能試験）

#医用画像情報学 #ROC解析 #AUC #画質 #国家試験 #過去問解説

ここまでの4本で扱ってきた MTF・ウィナースペクトル・DQE は、どれも装置の性能を物理量で測る指標でした。しかし、それだけでは足りません。物理評価が良い装置が、必ずしも診断しやすいとは限らないからです。

そこで、人が画像を見て正しく判断できたかを直接測る方法が必要になります。それが ROC 解析（Receiver Operating Characteristic、受信者動作特性）です。観察者性能試験とも呼ばれます。

ROC の本当の強みは、読影者の「疑わしきは陽性にする／しない」というクセに左右されずに、純粋な識別能力だけを比べられる点にあります。国家試験でも繰り返し出題されるテーマです。

感度と特異度：ROC の軸はこの2つでできている

感度と特異度感度と特異度の定義を2掛ける2の表で示した図。実際に病変ありで陽性と判定したのが真陽性TP、病変ありなのに陰性と判定したのが偽陰性FNで見落としにあたる。病変なしなのに陽性と判定したのが偽陽性FPで過剰診断にあたり、病変なしで陰性と判定したのが真陰性TNである。感度すなわち真陽性率TPFは病変ありのうち陽性と言えた割合で、TPをTPとFNの和で割る。特異度すなわち真陰性率は病変なしのうち陰性と言えた割合で、TNをFPとTNの和で割る。偽陽性率FPFは病変なしなのに陽性と言った割合で、1から特異度を引いた値である。ROC曲線の縦軸は感度、横軸は1引く特異度である。横軸は特異度そのものではない。感度と特異度：ROC の軸はこの2つでできている縦軸が感度、横軸は「1 − 特異度」。特異度そのものではない判定実際陽性と判定陰性と判定病変あり病変なし真陽性 TP正しく拾えた偽陰性 FN見落とし偽陽性 FP過剰診断真陰性 TN正しく除外感度（真陽性率 TPF）病変ありのうち、陽性と言えた割合TP ÷ （TP ＋ FN）特異度（真陰性率）病変なしのうち、陰性と言えた割合TN ÷ （FP ＋ TN）偽陽性率（FPF）病変なしなのに、陽性と言った割合1 − 特異度ROC 曲線の軸：縦が感度、横が「1 − 特異度」横軸は特異度そのものではない。ここを取り違えると、答えが 1 から引いた値とすり替わる偽陽性率 ＝ 1 − 特異度　　つまり　特異度 ＝ 1 − 偽陽性率
ROC 曲線の縦軸は感度、横軸は「1 − 特異度」。横軸は特異度そのものではない。

まず用語を固定します。実際に病変があるかどうかと、陽性・陰性どちらと判定したかで、4通りに分かれます。

  • 真陽性 TP … 病変ありを、正しく陽性と言えた
  • 偽陰性 FN … 病変ありなのに、陰性と言ってしまった（見落とし）
  • 偽陽性 FP … 病変なしなのに、陽性と言ってしまった（過剰診断）
  • 真陰性 TN … 病変なしを、正しく陰性と言えた

ここから3つの率が決まります。

感度（真陽性率）=TPTP+FN,特異度（真陰性率）=TNFP+TN\text{感度（真陽性率）}=\frac{TP}{TP+FN},\qquad \text{特異度（真陰性率）}=\frac{TN}{FP+TN} 偽陽性率=FPFP+TN=1−特異度\text{偽陽性率}=\frac{FP}{FP+TN}=1-\text{特異度}

そして ROC 曲線の縦軸が感度、横軸が偽陽性率、つまり「1 − 特異度」です。横軸は特異度そのものではありません。この一点が、計算問題の最大の分かれ目になります。

移項すれば、

特異度=1−偽陽性率\text{特異度}=1-\text{偽陽性率}

も成り立ちます。「1 − 偽陽性率で真陰性率が求められる」という選択肢は、これを言っています。

ROC 曲線は「しきい値を動かしたときの軌跡」

ROC曲線のできかたROC曲線ができるしくみを示した図。左には観察者の確信度の分布が2つ描かれている。ひとつは雑音のみの画像に対する分布、もうひとつは信号ありの画像に対する分布で、右のほうにずれている。しきい値より右を陽性と判定する。しきい値を厳しくすると偽陽性は減るが見落としが増え、ゆるくすると見落としは減るが過剰診断が増える。右にはそれぞれのしきい値に対応する点をROC平面に打ったものが描かれている。しきい値を動かすと点が動き、全部たどった軌跡がROC曲線になる。ROCは判断の基準すなわちしきい値のクセに左右されずに能力を比べられる。2つの分布が離れているほど曲線は左上へふくらむ。ROC 曲線は「しきい値を動かしたときの軌跡」同じ人でも、厳しく判定するか、ゆるく判定するかで点は動く観察者の「確信度」の分布①②③雑音のみ信号ありしきい値より右を「陽性」と判定する① 厳しい　　② ふつう　　③ ゆるいしきい値を動かすと点が動く①②③横軸：偽陽性率（1 − 特異度）　縦軸：感度全部たどった軌跡が ROC 曲線ROC 曲線は「しきい値を動かしたときの点の軌跡」厳しく判定すれば見落としが増え、ゆるく判定すれば過剰診断が増えるだから ROC は、判断の基準（しきい値）のクセに左右されずに能力を比べられる2つの分布が離れているほど、曲線は左上へふくらむ
観察者の確信度には2つの分布がある。しきい値を動かすと点が動き、その軌跡が ROC 曲線になる。

ROC 曲線がどこから出てくるのかを押さえておくと、形に関する設問が一気に楽になります。

観察者に画像を見せると、「どれくらい病変がありそうか」という確信度が生まれます。この確信度は、雑音のみの画像と信号ありの画像とで、2つの分布をつくります。信号ありのほうが、当然、確信度は高いほうへずれます。

観察者は、どこかにしきい値を置いて「ここより右なら陽性」と判断します。このしきい値は人によって違いますし、同じ人でも状況によって動きます。

  • 厳しくすれば、偽陽性は減りますが見落としが増える
  • ゆるくすれば、見落としは減りますが過剰診断が増える

しきい値をひとつ決めると、（偽陽性率, 感度）の点が1つ決まります。しきい値を端から端まで動かして、その点の軌跡を描いたものが ROC 曲線です。

つまり ROC 曲線は、しきい値というクセを消し去った形で、観察者の識別能力だけを表しています。ここが、単なる感度・特異度の報告より優れている理由です。

そして、2つの分布が離れているほど曲線は左上へふくらみます。左上に近いほど性能がよい、というのはここから来ています。

曲線の読み方：横軸は「1 − 特異度」

ROC曲線の読み方ROC曲線の読み方を示した図。縦軸は感度、横軸は偽陽性率すなわち1引く特異度である。感度90パーセントの高さで曲線と交わる点の横軸は0.30なので、特異度は1引く0.30で70パーセントとなる。0.30をそのまま30パーセントと答えるのが最大の失点である。同じ曲線で感度80パーセントのときは横軸が0.17で特異度は83パーセントになる。感度を80パーセントから90パーセントに上げると特異度は83パーセントから70パーセントに下がる。感度と特異度はつねにトレードオフで、見落としを減らそうとすればその分だけ過剰診断が増える。左上に近い曲線ほど性能がよく、対角線はあてずっぽうと同じである。ROC 曲線の読み方：横軸は「1 − 特異度」感度 90% のときの特異度を読む。0.30 をそのまま 30% としない0.90.81.000.300.171.0横軸：偽陽性率（1 − 特異度）縦軸感度読み取りの手順① 縦軸で感度 90% の高さを探す② 曲線と交わる点の横軸を読む→ 0.30③ 横軸は「1 − 特異度」なので特異度 ＝ 1 − 0.30 ＝ 70%0.30 をそのまま 30% と答えない横軸をそのまま特異度と読むのが最大の失点感度と特異度はつねにトレードオフこの曲線では、感度 80% なら特異度 83%、感度 90% まで上げると特異度は 70% に下がる見落としを減らそうとすれば、その分だけ過剰診断が増える左上に近い曲線ほど性能がよい。対角線はあてずっぽうと同じ
感度 90% の高さで曲線と交わる点の横軸は 0.30。特異度 ＝ 1 − 0.30 ＝ 70%。0.30 をそのまま 30% と答えない。

グラフから値を読む問題は、手順を決めてしまえば確実です。

  1. 縦軸で感度の高さを探す（感度 ＝ 真陽性率 ＝ TPF）
  2. その高さで曲線と交わる点の横軸を読む
  3. 横軸は「1 − 特異度」なので、1 から引いて特異度に直す

図の例では、感度 90% の高さで横軸は 0.30 です。したがって

特異度=1−0.30=0.70=70%\text{特異度}=1-0.30=0.70=70\%

0.30 をそのまま「30%」と答えてしまうのが定番の誤答で、選択肢にも必ず置かれています。

同じ曲線で感度 80% のときを読むと、横軸は 0.17 で特異度は 83% です。感度を 80% から 90% に上げると、特異度は 83% から 70% に下がる。感度と特異度はつねにトレードオフで、それを目に見える形にしたものが ROC 曲線だ、と理解しておくと納得しやすくなります。

AUC：0.5 があてずっぽう、1.0 が完全

AUCの意味AUCすなわち曲線下面積の意味を3つの場合で示した図。AUCが0.5のときは2つの分布が完全に重なり、まったく区別できない状態でROC曲線は対角線になる。AUCが0.8のときは分布が少しずれており、そこそこ区別できる。AUCが0.98のときは分布がほとんど離れており、ほぼ完全に区別できる。AUCは曲線の下の面積で、0.5が下限、1.0が上限である。0.5はあてずっぽうで対角線にあたり、0.8から0.9なら良好、1.0で完全である。両分布が完全に重なったときのAUCは0.5であって1ではない。AUCが1になるのは両分布が完全に分離したときである。信号のコントラストが高いほど見つけやすく、曲線は左上へ寄ってAUCは上がる。AUC：0.5 があてずっぽう、1.0 が完全2つの分布が離れているほど、曲線は左上へふくらんで面積が増えるAUC ＝ 0.5まったく区別できない2つの分布が完全に重なる灰 ＝ 雑音のみ　緑 ＝ 信号ありAUC ＝ 0.8そこそこ区別できる分布が少しずれている灰 ＝ 雑音のみ　緑 ＝ 信号ありAUC ＝ 0.98ほぼ完全に区別できる分布がほとんど離れている灰 ＝ 雑音のみ　緑 ＝ 信号ありAUC は「曲線の下の面積」。0.5 が下限、1.0 が上限0.5 ＝ あてずっぽう（対角線）　0.8〜0.9 ＝ 良好　1.0 ＝ 完全両分布が完全に重なったときの AUC は 0.5。1 ではないAUC ＝ 1 になるのは、両分布が完全に分離したとき信号のコントラストが高いほど見つけやすく、曲線は左上へ寄って AUC は上がる
AUC は曲線の下の面積。両分布が完全に重なったときが 0.5（1 ではない）、完全に分離したときが 1.0。

曲線どうしを数値で比べるために使うのが AUC（Area Under the Curve、曲線下面積）です。読み方は3つ覚えれば足ります。

  • AUC ＝ 0.5 … まったく区別できない。あてずっぽうと同じで、ROC 曲線は対角線になります
  • AUC ＝ 0.8〜0.9 … 良好
  • AUC ＝ 1.0 … 完全。両分布が完全に分離した理想の状態です

ここで出題されるのが、両分布が完全に重なったときの AUC です。「完全に重なる」とは「まったく区別できない」ということなので、AUC は 0.5 になります。1 ではありません。この引っかけは繰り返し出ています。

また、AUC の最大値は 1.0 です。「最大値は 0.5 である」という選択肢も誤りで、0.5 はむしろ下限にあたります。

ROC 曲線は、信号のコントラストに影響されます。コントラストが高い信号ほど見つけやすいので、曲線は左上へ寄り、AUC は上がります。「信号コントラストの高低に影響されない」は誤りです。影響されないのはしきい値のクセのほうです。

標準偏差が違うと、曲線は非対称になる

標準偏差が違うときのROC曲線2つの確信度分布の標準偏差が異なるときのROC曲線を示した図。標準偏差が等しいとき、ROC曲線は対角線に対して左右対称になる。信号ありのほうがばらつくとき、すなわち雑音のみの標準偏差が1で信号ありの標準偏差が2のとき、対称がくずれて非対称にゆがみ、横軸0.93から右では対角線の下に潜り込む。どちらもAUCは同じ0.75であるが曲線の形はまったく違う。左右対称になるのは2つの分布の標準偏差が等しいときだけである。ROCの設問は、左上ほど良い、対角線はあてずっぽう、等分散のときだけ対称、という3点で足りる。標準偏差が違うと、ROC 曲線は非対称になる同じ AUC でも、曲線の形は同じとはかぎらない標準偏差が等しいときσ雑音 ＝ 1.0　σ信号 ＝ 1.0対角線に対して左右対称信号ありのほうがばらつくときσ雑音 ＝ 1.0　σ信号 ＝ 2.0対称がくずれるAUC ＝ 0.75AUC ＝ 0.75横軸 0.93 から右では対角線の下に潜る左右対称になるのは、2つの分布の標準偏差が等しいときだけどちらも AUC は同じ 0.75。それでも曲線の形はまったく違う信号ありのばらつきが大きいと、右上のあたりで対角線の下に潜り込むことがあるROC の設問は「左上ほど良い」「対角線はあてずっぽう」「等分散のときだけ対称」の3点で足りる
左右対称になるのは、2つの分布の標準偏差が等しいときだけ。同じ AUC でも曲線の形は違いうる。

ROC 曲線の形は、2つの分布の平均の差だけでなく、ばらつきの差でも変わります。

  • 2つの標準偏差が等しいとき … 曲線は対角線に対して左右対称
  • 標準偏差が異なるとき … 対称性がくずれ、非対称にゆがむ

とくに信号ありのほうのばらつきが大きい場合、曲線は右上のあたりで対角線の下に潜り込むことがあります。図の例（雑音のみの標準偏差 1.0、信号ありの標準偏差 2.0）では、横軸 0.93 より右で対角線の下に入っています。

注目してほしいのは、図の左右の AUC がどちらも 0.75 で同じだという点です。AUC が同じでも、曲線の形は同じとはかぎりません。

ROC の形を問う設問は、次の3点でほぼ対応できます。

  1. 左上に近いほど性能がよい
  2. 対角線はあてずっぽうと同じ（AUC ＝ 0.5）
  3. 左右対称になるのは、2つの分布の標準偏差が等しいときだけ

実験の組み立て方

ROC実験の組み立てROC実験の組み立て方を、こうすることとこうしないことに分けて示した図。こうすることは4つある。画像は偏りなく選び見つけにくいものも含めること、信号ありとなしをランダムに混ぜて提示し順番を隠すこと、確信度を5段階などの段階で答えてもらい位置は聞かないこと、Jackknife法で差を検定することでJAFROCなどが標準である。こうしないことも4つある。見えやすい画像ばかり選ぶと天井効果で差が出ないこと、雑音のみを先にまとめて出すと順番で当てられてしまうこと、位置まで答えさせるのはLROCやFROC法であること、物理評価が良ければ診断しやすいとは限らないことである。ROCが測るのは人が診断できたかであり、MTFやNPSの物理評価が良くても人が診断しやすいとは限らない。ROC曲線は信号のコントラストに影響されるが、しきい値のクセには影響されない。ROC 実験の組み立て方測っているのは装置ではなく、人が診断できたかどうかこうする✓画像は偏りなく選ぶ見つけにくいものも含める✓ランダムに混ぜて提示する信号ありとなしの順番を隠す✓確信度を段階で答えてもらう5段階など。位置は聞かない✓Jackknife 法で差を検定するJAFROC などが標準こうしない✗見えやすい画像ばかり選ぶ天井効果で差が出ない✗雑音のみを先にまとめて出す順番で当てられてしまう✗位置まで答えさせるそれは LROC・FROC 法✗物理評価が良ければ診断しやすいとは限らないROC が測るのは「人が診断できたか」MTF や NPS の物理評価が良くても、人が診断しやすいとは限らないだからこそ、人を介した観察者性能試験が別に必要になるROC 曲線は信号のコントラストに影響される。「影響されない」は誤りしきい値のクセには影響されない。そこが ROC の強み
画像は偏りなく選び、ランダムに混ぜて提示する。観察者が答えるのは確信度だけで、位置まで答えさせるのは LROC・FROC 法。

ROC 解析は実験なので、組み立て方を誤ると結果が意味を持ちません。ここも出題されます。

画像の選び方

見えやすい画像ばかりを選ぶと、どの条件でもほぼ全問正解になってしまい、天井効果で差が出せません。識別が難しい画像も含めて、偏りなく選ぶ必要があります。

提示のしかた

信号のある画像とない画像は、ランダムに混ぜて提示します。雑音のみを先にまとめて見せてしまうと、順番から答えが分かってしまい、画像を見なくても正解できてしまいます。

答えさせる内容

通常の ROC 解析で観察者が答えるのは、「信号があるかどうかの確信度」だけで、5段階などの段階評価にします。位置まで答えさせるのは LROC・FROC 法で、通常の ROC とは別の手法です。

統計処理

2条件の ROC 曲線に差があるかどうかは、Jackknife 法（JAFROC など）で検定します。観察者のばらつきと症例のばらつきの両方を考慮できるのが利点です。

試験で問われやすいポイント

論点覚える形
縦軸感度 ＝ 真陽性率（TPF）
横軸偽陽性率（FPF）＝ 1 − 特異度
特異度への直し方特異度 ＝ 1 − 横軸の値
感度と特異度つねにトレードオフ
曲線の位置左上に近いほど性能がよい
対角線あてずっぽう。AUC ＝ 0.5
AUC の範囲下限 0.5、上限 1.0
両分布が完全に重なるAUC ＝ 0.5（1 ではない）
左右対称になる条件2つの分布の標準偏差が等しいとき
画像の選び方難しいものも含めて偏りなく。天井効果を避ける
提示のしかた信号ありとなしをランダムに混ぜる
答えさせる内容確信度だけ。位置は LROC・FROC
有意差検定Jackknife 法（JAFROC など）
物理評価との関係一致するとは限らない
コントラストの影響受ける（しきい値のクセは受けない）

まとめ

  • ROC 解析は「人が診断できたか」を測る。MTF や NPS の物理評価が良くても、診断しやすいとは限らない
  • 縦軸は感度、横軸は「1 − 特異度」。横軸をそのまま特異度と読むのが最大の失点
  • ROC 曲線はしきい値を動かしたときの点の軌跡。だから判断の甘い辛いに左右されない
  • AUC は下限 0.5、上限 1.0。両分布が完全に重なったときが 0.5で、1 ではない
  • 左右対称になるのは、2つの分布の標準偏差が等しいときだけ。AUC が同じでも形は違いうる
  • 実験は偏りなく画像を選び、ランダムに混ぜて提示し、確信度だけを答えてもらう。位置まで答えさせるのは LROC・FROC
  • 有意差検定は Jackknife 法

これで医用画像情報学のシリーズは完結です。MTF（信号）→ ウィナースペクトル・DQE（ノイズと効率）→ 標本化と量子化（デジタル化）→ フーリエ変換とフィルタ（画像処理）→ ROC（人の診断能）という流れで、画像を「作る・測る・処理する・評価する」の全体がつながりました。

この分野のほかの記事

過去問そのものの解説は「国家試験まとめ」から各回のページへどうぞ。

← トップに戻る | 医用画像情報学の記事一覧