あらすじの​ファクトチェックを AI でする​とき、​誤りを 2種類に​分ける​理由:Netflix の​技術ブログを読む

原文の情報

この記事は Netflix の​技術ブログの​記事を​当サイトが​読んで​解説した​ものです。​Netflix の​公式の​翻訳・​要約ではなく、​Netflix とは関係が​ありません。

原題
Fact-Checking at Scale: Building a More Accurate and Efficient Synopsis Factuality System
書いた人
Shreya S Ramanujam, Yongce Li, Afshine Amidi, Sina Ghiassian, Benjamin Klein.
原文の​公開日
確かめた日

AI で​下書きし、​原文と​一次資料を​確かめてから​公開しています。​作り方と​決まり

作品の​あらすじを AI に​確かめさせる​とき、​むずかしいのは、はっきりした​誤りよりも、​一つ一つは​本当なのに、​全体と​して​違う​印象を​与える​文です。

Netflix の​技術ブログの​この​記事は、​作品の​あらすじが​事実に​合っているかを AI で​判定する​仕組みを​作り直した​話です。​この記事では、​原文の​要点を​短く​まとめ、​誤りの​分け方と​判定の​覆し方を​架空の​作品で​試せる​道具に​して、​主張ごとに​数える​評価の​論文と​並べました。

3行で​言うと

  1. 原文は、​あらすじの​事実の​判定を、​同じ​判定を​何回も​繰り返すやり方から、​見る​所の​違う 2つの​判定と、​怪しい​所だけを​確かめ直す段を​組み合わせたやり方に​変えました。
  2. 誤りには、​書いてある​ことが​文字どおり違う​ものと、​一つ一つは​本当でも​初めて​見る​人に​違う​印象を​与える​ものが​あり、​原文は​後者も​見つけたい​誤りに​数えます。
  3. 原文に​よると、​費用は​下がり、​事実に​合わない​あらすじを​見つける​割合と、​判定の​理由が​人の​理由と​重なる​割合は​上がりました。

Explicitly searching for specific types of errors helps us better flag both literal and subtler implicature errors.

(当サイト訳)​誤りの​種類をはっきり​決めて​探すと、​文字どおりの​誤りも、​もっと​分かりにくい含みの​誤りも​見つけやすくなります。

出典:Fact-Checking at Scale: Building a More Accurate and Efficient Synopsis Factuality System(Netflix、​2026年11月9日)

この記事を​読む前に

  • あらすじ:作品を​見る​前に​読む、​短い​紹介の​文です。​作品を​見るか​どうかを​決める​手がかりに​なります。
  • 文字どおりの誤り:書いてある​こと自体が、​作品と​違う​ことです。
  • 含みの誤り:書いてある​ことは​本当でも、​読んだ​人が​作品に​ついて​違う​思い込みを​する​ことです。
  • 判定の理由:AI が​合格か​不合格かを​出す​ときに、​合わせて​書く​理由の​文です。
  • Recall-FAIL:​原文が​いちばん​大事に​する​指標で、​本当に​事実に​合わない​あらすじの​うち、​仕組みが​正しく​不合格に​した​割合です。

原文の要点

当サイトの要約

  • 背景:あらすじは​作品を​選ぶ手がかりで、​事実に​合っている​ことが​第一です。​作品・話数・​言語が​多く​人の​手では​追いつかないので、​自動で​判定する​仕組みを​持っています。
  • 誤りの​種類:はっきり​違う​ものに​加えて、​一つ一つは​本当でも​主人公でない​人が​中心の​話に​見える​ものや、​二人の​関係の​始まりを​取り違えさせる​ものも、​見つけたい​誤りに​入れています。
  • 今の仕組み:推論モデルに​作品の​資料を​全部​渡して​判定させ、​ばらつきを​抑える​ため同じ​呼び出しを 5回繰り返し、​どれか​一つでも​不合格なら​不合格に​します。​入力が​とても​長く (100k+ tokens) 費用が​高い​ことと、​細かすぎる​理由で​落とす一方で​微妙な​誤りを​見逃すことが​限界です。
  • 新しい​仕組み:​「文字どおり本当か」​と「見ていない​人に​違う​印象を​与えないか」の 2つの​判定に​通し、​確信の​低い​ものだけを​次の​段へ​回します。​次の​段では、​判定が​理由の​中で​置いた​仮定や​退けた​矛盾を、​ルーターが​確かめられる​小さな​主張に​言い直し、​ウェブで​調べる​判定か、​資料に​戻って​確かめる​判定へ​送ります。
  • 結果:費用は、​作品単位の​データで 52.4%⁠減りました。Recall-FAIL は 0.77 から 0.86 に、​判定の​理由が​人の​理由と​重なる​割合は​約 69%⁠から​約 82%⁠に​なりました (どちらも​どの​データの​値かは、​本文の​文には​書かれていません)。​待ち時間の​中央値 (P50) は​延びましたが、​判定には​妥当な​範囲だと​しています。

当サイトが​足した​もの:​ブラウザで​動かせる道具

あらすじの​誤りを 2つの​見方で​分ける道具

この道具は、​原文の Netflix の​仕組みの​コードや​プロンプトを​写した​ものではありません。​見る所を​分けると​何が​見つかるかを、​決めて​おいた​印で​確かめる​最小の​形と​して、​当サイトが​作りました。​架空の​作品と​その​資料、​あらすじの​部品も​当サイトが​作った​もので、​判定に AI は​使っていません。

作品の資料

『坂の上の​時計店』​(全8話。​当サイトが​作った​架空の​作品で、​実在しません)

  1. 主人公は、​港町で​時計職人の​見習いを​している「みお」。
  2. 物語の​中心は、​みおが​亡くなった​祖父の​時計店を、​もう​一度​開くまで。
  3. 第1話で、​みおは​店の​奥で​止まった​時計を​見つける。​それは​祖父が​受けた​最後の​注文だった。
  4. 町の記者の​「小野」は、​うわさを​記事に​する​脇役。​第3話で​時計店を​取材し、​第6話にも出る。
  5. 職人の​「はやせ」は、​初めは​店を​買い取ろうと​する​相手で、​第5話から、​みおと​手を​組み、​二人で​店を​立て直す。
  6. 修理の​依頼を​通して、​町の​人々の​暮らしが​描かれる。
  7. 不思議な​力や​魔法は​出て​こない、​現実の​町の話。

1. あらすじを​組み立てる

組み立てた​あらすじ

港町で​時計職人の​見習いを​する​みおは、​亡くなった​祖父の​時計店を、​もう​一度​開こうとする。​店の奥で​見つけた​止まった​時計は、​祖父が​受けた​最後の​注文だった。​店を買い取ろうと​していた​職人のはやせとも、​やがて手を組む。

文字どおりの​誤りも、​含みの​誤りも​見つかりません。

文字どおりの見方
誤りなし
含みの見方
誤りなし
資料で​裏付けられる主張
6件の​うち 6件​(100%)

主張に​分けて​資料と​照らす

  • 資料どおり​みおは​港町で​時計職人の​見習いを​している​(資料 1)
  • 資料どおり​みおは​祖父の​時計店を​もう​一度​開こうとする​(資料 2)
  • 資料どおり​みおは​店の​奥で​止まった​時計を​見つける​(資料 3)
  • 資料どおり​その時計は​祖父が​受けた​最後の注文​(資料 3)
  • 資料どおりはやせは​初め店を​買い取ろうと​していた​(資料 5)
  • 資料どおり​みおとはやせは、​やがて手を組む​(資料 5)

確かめ直す主張と、​確かめる先

確かめ直す​主張は​ありません。

2. 確かめ直した​結果で、​判定が​変わるか

最初の​判定と、​確かめ直した​点ごとの​結果を​選びます。​判定が​変わるのは​原文の 2 つの​場合だけです。

最終の​判定:不合格 → 合格​(変わる)

落とした​理由も​含めて、​確かめ直した​点が​全部​裏付けられたので、​合格に​変わります。

点が 2つの​とき、​結果の​組み合わせ 9通りの​うち、​不合格から​合格に​変わるのは 1通り、​合格から​不合格に​変わるのは 5通りです。

数え方

  • 主張に​分ける:​あらすじは 3つの​文の​組み合わせで、​1文目が 3通り、​2文目が 4通り、​3文目が 3通りの、​36通りを​作れます。​文は​あらかじめ 1〜2個の小さな​主張に​分けてあり、​主張ごとに​資料と​照らした​結果 (資料どおり・​資料と​食い違う・​資料では​決まらない・​評価の​言葉) を​当サイトが​決めてあります。
  • 文字どおりの見方:​資料と​食い違う​主張が 1つでも​あれば​誤りにします。​「心温まる」のような​評価の​言葉は​事実の​主張と​して​数えないので、​資料に​無くても​誤りにしません。
  • 含みの見方:​主張が​全部​資料どおりでも、​脇役の​小野が​中心の​話に​見える​文と、はやせが​初めから​仲間だったように​読める​文には、​当サイトが​含みの​誤りの​印を​付けてあります。​どちらかが​あれば​誤りにします。
  • 確かめ直す主張:​資料では​決まらない​主張は​「確かめ直す主張」に​して、​作品の​外の​事実 (賞を​取ったか) は​「作品の​外の​情報で​確かめる」、​作品の​中の​事実は​「作品の​資料に​戻って​確かめる」に​分けます。​原文では、​判定が​自分の​理由の​中から​取り出した​疑問を​ルーターが​小さな​主張に​言い直しますが、​この​道具は​資料で​決まらない​主張を​そのまま​確かめ直しに​回す、​簡単に​した​形です (当サイトの​見立て)。
  • 判定が​変わるか:​原文は、​次の​段が​最初の​判定を​覆すのは 2つの​場合だけだと​しています。​不合格から​合格に​なるのは、​最初に​落とした​理由も​含めて、​確かめ直した​点が​全部​裏付けられた​とき。​合格から​不合格に​なるのは、​確かめ直した​点の​どれか 1つでも​否定された​ときです。​原文の 2つの​場合は​「裏付けられた」と​「否定された」だけで、​確かめても​決まらなかった​点の​扱いは​書かれていません。​この​道具では、​決まらなかった​点は​どちらの​場合にも​当たらない​ものとして​扱います (当サイトの​見立て)。

試してみる

  1. 初めの​状態 (どの​文も 1つ目の​部品) では、​主張 6件が​全部​資料どおりで、​「文字どおりの​誤りも、​含みの​誤りも​見つかりません。」と​出ます。
  2. 1文目を​「記者の​小野が​時計店を​取材する」に​すると、​主張は​全部​資料どおりの​まま、​含みの​見方だけが​「誤り​あり」に​なります。
  3. 3文目を​「仲間のはやせと​二人で​立て直す」に​しても​同じです。はやせは​職人で、​二人で​店を​立て直すのも​資料どおりですが、​初めは​店を​買い取ろうと​する​相手だった​ことが​抜け落ちます。
  4. 2文目を​「心温まる​町の​人々の​物語」に​しても​誤りには​なりません。 原文は、​作品の​中で​誰も​その​言葉を​使っていないと​いう​理由で​評価の​言葉を​含む​あらすじを​落とすのを、​細かすぎる​理由で​落とす例に​挙げています。
  5. 2文目を​「海外の​映画祭で​賞を​取った」に​すると、​確かめ直す​主張が 1件出て、​「作品の​外の​情報で​確かめる」に​回ります。​3文目を​「祖父の​弟子だったはやせと​手を​組む」に​すると、​「作品の​資料に​戻って​確かめる」に​回ります。
  6. 2つ目の​道具の​初めの​状態 (最初が​不合格、​点が 2つで、​どちらも​裏付けられた) では、​合格に​変わります。​どちらか 1つを​「確かめても​決まらない」に​すると、​不合格の​ままです。
  7. 点が 3つなら、​結果の​組み合わせ 27通りの​うち、​不合格から​合格に​変わるのは 1通り、​合格から​不合格に​変わるのは 19通りです。

2つの​見方を​分けると、​何が​変わるか

1つ目の​道具で​文を​入れ替えてみると、​主張を​一つ​ずつ​資料と​照らすだけでは、​主張が​全部​本当の​あらすじは​通ってしまう​ことが​分かります。​含みの​見方は、​文が​読み手に​どんな​話だと​思わせるかを​見るので、​照らす相手は​資料の 1行ではなく、​物語の​中心や、​人と​人の​関係の​流れです。​見る​所が​違うので、​一つの​問いに​まとめて​聞くより、​問いを​分けた​ほうが、​どちらの​誤りかを​分けて​示しやすくなります。

逆に、評価の​言葉まで​資料と​照らすと、​誤りでない​文まで​落ちます。​どの​言葉を​事実の​主張と​して​数えるかは、​照らす前に​決めて​おく​必要が​あります。

判定の​覆し方は、​片側に​寄っている

覆すのが​合格から​不合格の​向きに​寄っているのは、​本当に​事実に​合わない​あらすじを​見逃さない​ことを​主な​指標に​する​原文の​評価の​仕方と、​向きが​そろっていると​読めます (当サイトの​見立て)。​原文は​同時に、Recall-FAIL が上がっても Recall-PASS への影響は​限られ、​合格の​判定の​確かさを​犠牲に​していないと​しています。

当サイトが​足した​もの:​一次資料を​たどる

一次資料を​たどる:​主張ごとに​数える​評価 (FActScore) と並べる

あらすじを​小さな​主張に​分けて​確かめる​考え方には、​先に​研究が​あります。

2023年の​論文 FActScore は、言語モデルが​書いた​文を​小さな​事実 (atomic facts) の並びに​分け、​信頼できる​知識源で​裏付けられる​事実の​割合を​出す評価です。​論文は​出発点と​して、​言語モデルの​長い文には​裏付けの​ある​情報と​無い​情報が​混ざるので、​良いか​悪いかの​二択では​足りない、と​書いています。

原文の​仕組みは​これと​向きが​違い、​合格か​不合格かの​二択を​残したまま、​小さな​主張に​分けるのは、​確信の​低い​判定の​怪しい​所だけです (当サイトの​見立て)。

道具の​「資料で​裏付けられる​主張」は、​主張ごとに​資料と​照らして​割合を​出す​数え方です。​36通りの​うち、​この​割合が 100%⁠なのに​含みの​誤りが​ある​組み合わせは 6通りあります。​主張を​一つ​ずつ​照らす​数え方は、​どの​主張も​本当なのに​全体で​違う​印象を​与える​誤りを、​それだけでは​数えられません。​原文が​含みの​誤りを​別の​判定に​したのは、​この​穴を​埋める​形だと​読めます (当サイトの​見立て)。

原文は FActScore を​引いておらず、​並べたのは​当サイトです (当サイトの​見立て。​原文の​本文に、​この​論文の​名前やリンクは​見当たりません)。

当サイトが​足した​もの:​小さな​チームで​試せること

小さな​チームで​試せること

見る所ごとに、​別々に聞く

AI に​文章を​確かめさせるなら、​「全体と​して​正しいか」を​何回も​聞くより、​見る​所ごとに​問いを​分けて​聞く​ほうが、​何が​足りないかを​見つけやすい形です。​原文は、​一つの​判定を​繰り返して​偶然に​頼るより、​誤りの​種類を​決めて​探す​ほうが​うまく​いったと​書いています。

理由の​中の​「ただし」を拾う

判定の​理由を、合否と​一緒に​必ず​書かせて​おくと、​後から​読み返せます。​原文は​確かめ直す手がかりと​して、​判定が​理由の​中で​仮定を​置いた所、​資料では​解けない​疑問を​挙げた所、​矛盾に​気づいたのに​小さいと​して​退けた​所を​挙げています。​小さな​仕組みなら、​理由の​文に​「ただし」​「おそらく」​「と​仮定すると」が​出た​ものだけを​人が​見る、から​始められます。

覆す決まりを、​向きごとに​先に​書いておく

確かめ直した​結果で​判定を​変える​決まりは、​合格から​不合格へと、​不合格から​合格へを​分けて​先に​書いて​おくと、​後から​迷わずに​済みます。​原文は、​事実に​合うか​どうかを​人が​判定し、​その​理由も​書いた​あらすじの​集まりを​作り、​仕組みの​比べ方の​土台に​しています。​小さな​チームでも、​合否と​理由を​人が​書いた​例を​数十件そろえて​おけば、​問いの​分け方を​変えた​ときに​比べられます。

確かめる​先を、​主張の​種類で​分ける

作品の​外の​事実 (受賞・​評判・​原作) と、​作品の​中の​事実では、​確かめる​資料が​違います。​疑問の​点ごとに​「どこを​見れば​決まるか」を​一緒に​書いて​おくと、​確かめ直す​ときに​資料を​全部​読み直さずに​済み、​決まらなかった​点も、​決まらなかったと​記録できます。

真似しなくて​よいこと

扱うあらすじが​少ないなら、​確信で​振り分ける​段や、​ウェブで​調べる​判定を​自前で​作る​必要は​薄いはずです。​まずは​見る​所ごとの​問いと、​理由の​中の​疑問を​人が​見る、から​始めれば​足ります。

原文を​読む順番

原文の​本文は​英語で​およそ 2,400語です。​時間が​無ければ​「Insight 3」の節と、​その​次の​「Putting It All Together」​の節から​読むと、​この​記事の​道具との​対応が​つかめます。Insight 3 は、​判定の​理由から​疑問の​点を​取り出し、​確かめる​先へ​振り分ける​話で、​道具の​一つ​目の​「確かめ直す主張と、​確かめる​先」に​当たります。​Putting It All Together は、次の​段が​最初の​判定を​覆す 2つの​場合の​話で、​道具の​二つ目に​当たります。​この記事は、​原文の​本文の​文に​書かれた​数だけを​使い、​評価の​表の​画像の​中の​数は​使っていません。

出典

確かめた​日は​どれも 2026年11月13日です。

この記事の​架空の​作品と​道具は​当サイトが​作った​もので、​原文の​図・画像と、​原文に​出てくる​作品の​あらすじの​文は​使っていません。