あらすじのファクトチェックを AI でするとき、誤りを 2種類に分ける理由:Netflix の技術ブログを読む
原文の情報
この記事は Netflix の技術ブログの記事を当サイトが読んで解説したものです。Netflix の公式の翻訳・要約ではなく、Netflix とは関係がありません。
- 原題
- Fact-Checking at Scale: Building a More Accurate and Efficient Synopsis Factuality System
- 書いた人
- Shreya S Ramanujam, Yongce Li, Afshine Amidi, Sina Ghiassian, Benjamin Klein.
- 原文の公開日
- 確かめた日
- 原文
- Fact-Checking at Scale: Building a More Accurate and Efficient Synopsis Factuality System(netflixtechblog.com)
AI で下書きし、原文と一次資料を確かめてから公開しています。作り方と決まり
作品のあらすじを AI に確かめさせるとき、むずかしいのは、はっきりした誤りよりも、一つ一つは本当なのに、全体として違う印象を与える文です。
Netflix の技術ブログのこの記事は、作品のあらすじが事実に合っているかを AI で判定する仕組みを作り直した話です。この記事では、原文の要点を短くまとめ、誤りの分け方と判定の覆し方を架空の作品で試せる道具にして、主張ごとに数える評価の論文と並べました。
3行で言うと
- 原文は、あらすじの事実の判定を、同じ判定を何回も繰り返すやり方から、見る所の違う 2つの判定と、怪しい所だけを確かめ直す段を組み合わせたやり方に変えました。
- 誤りには、書いてあることが文字どおり違うものと、一つ一つは本当でも初めて見る人に違う印象を与えるものがあり、原文は後者も見つけたい誤りに数えます。
- 原文によると、費用は下がり、事実に合わないあらすじを見つける割合と、判定の理由が人の理由と重なる割合は上がりました。
Explicitly searching for specific types of errors helps us better flag both literal and subtler implicature errors.
(当サイト訳)誤りの種類をはっきり決めて探すと、文字どおりの誤りも、もっと分かりにくい含みの誤りも見つけやすくなります。
この記事を読む前に
- あらすじ:作品を見る前に読む、短い紹介の文です。作品を見るかどうかを決める手がかりになります。
- 文字どおりの誤り:書いてあること自体が、作品と違うことです。
- 含みの誤り:書いてあることは本当でも、読んだ人が作品について違う思い込みをすることです。
- 判定の理由:AI が合格か不合格かを出すときに、合わせて書く理由の文です。
- Recall-FAIL:原文がいちばん大事にする指標で、本当に事実に合わないあらすじのうち、仕組みが正しく不合格にした割合です。
原文の要点
当サイトの要約
- 背景:あらすじは作品を選ぶ手がかりで、事実に合っていることが第一です。作品・話数・言語が多く人の手では追いつかないので、自動で判定する仕組みを持っています。
- 誤りの種類:はっきり違うものに加えて、一つ一つは本当でも主人公でない人が中心の話に見えるものや、二人の関係の始まりを取り違えさせるものも、見つけたい誤りに入れています。
- 今の仕組み:推論モデルに作品の資料を全部渡して判定させ、ばらつきを抑えるため同じ呼び出しを 5回繰り返し、どれか一つでも不合格なら不合格にします。入力がとても長く (100k+ tokens) 費用が高いことと、細かすぎる理由で落とす一方で微妙な誤りを見逃すことが限界です。
- 新しい仕組み:「文字どおり本当か」と「見ていない人に違う印象を与えないか」の 2つの判定に通し、確信の低いものだけを次の段へ回します。次の段では、判定が理由の中で置いた仮定や退けた矛盾を、ルーターが確かめられる小さな主張に言い直し、ウェブで調べる判定か、資料に戻って確かめる判定へ送ります。
- 結果:費用は、作品単位のデータで 52.4%減りました。Recall-FAIL は 0.77 から 0.86 に、判定の理由が人の理由と重なる割合は約 69%から約 82%になりました (どちらもどのデータの値かは、本文の文には書かれていません)。待ち時間の中央値 (P50) は延びましたが、判定には妥当な範囲だとしています。
当サイトが足したもの:ブラウザで動かせる道具
あらすじの誤りを 2つの見方で分ける道具
この道具は、原文の Netflix の仕組みのコードやプロンプトを写したものではありません。見る所を分けると何が見つかるかを、決めておいた印で確かめる最小の形として、当サイトが作りました。架空の作品とその資料、あらすじの部品も当サイトが作ったもので、判定に AI は使っていません。
作品の資料
『坂の上の時計店』(全8話。当サイトが作った架空の作品で、実在しません)
- 主人公は、港町で時計職人の見習いをしている「みお」。
- 物語の中心は、みおが亡くなった祖父の時計店を、もう一度開くまで。
- 第1話で、みおは店の奥で止まった時計を見つける。それは祖父が受けた最後の注文だった。
- 町の記者の「小野」は、うわさを記事にする脇役。第3話で時計店を取材し、第6話にも出る。
- 職人の「はやせ」は、初めは店を買い取ろうとする相手で、第5話から、みおと手を組み、二人で店を立て直す。
- 修理の依頼を通して、町の人々の暮らしが描かれる。
- 不思議な力や魔法は出てこない、現実の町の話。
1. あらすじを組み立てる
組み立てたあらすじ
港町で時計職人の見習いをするみおは、亡くなった祖父の時計店を、もう一度開こうとする。店の奥で見つけた止まった時計は、祖父が受けた最後の注文だった。店を買い取ろうとしていた職人のはやせとも、やがて手を組む。
文字どおりの誤りも、含みの誤りも見つかりません。
- 文字どおりの見方
- 誤りなし
- 含みの見方
- 誤りなし
- 資料で裏付けられる主張
- 6件のうち 6件(100%)
主張に分けて資料と照らす
- 資料どおりみおは港町で時計職人の見習いをしている(資料 1)
- 資料どおりみおは祖父の時計店をもう一度開こうとする(資料 2)
- 資料どおりみおは店の奥で止まった時計を見つける(資料 3)
- 資料どおりその時計は祖父が受けた最後の注文(資料 3)
- 資料どおりはやせは初め店を買い取ろうとしていた(資料 5)
- 資料どおりみおとはやせは、やがて手を組む(資料 5)
確かめ直す主張と、確かめる先
確かめ直す主張はありません。
2. 確かめ直した結果で、判定が変わるか
最初の判定と、確かめ直した点ごとの結果を選びます。判定が変わるのは原文の 2 つの場合だけです。
最終の判定:不合格 → 合格(変わる)
落とした理由も含めて、確かめ直した点が全部裏付けられたので、合格に変わります。
点が 2つのとき、結果の組み合わせ 9通りのうち、不合格から合格に変わるのは 1通り、合格から不合格に変わるのは 5通りです。
数え方
- 主張に分ける:あらすじは 3つの文の組み合わせで、1文目が 3通り、2文目が 4通り、3文目が 3通りの、36通りを作れます。文はあらかじめ 1〜2個の小さな主張に分けてあり、主張ごとに資料と照らした結果 (資料どおり・資料と食い違う・資料では決まらない・評価の言葉) を当サイトが決めてあります。
- 文字どおりの見方:資料と食い違う主張が 1つでもあれば誤りにします。「心温まる」のような評価の言葉は事実の主張として数えないので、資料に無くても誤りにしません。
- 含みの見方:主張が全部資料どおりでも、脇役の小野が中心の話に見える文と、はやせが初めから仲間だったように読める文には、当サイトが含みの誤りの印を付けてあります。どちらかがあれば誤りにします。
- 確かめ直す主張:資料では決まらない主張は「確かめ直す主張」にして、作品の外の事実 (賞を取ったか) は「作品の外の情報で確かめる」、作品の中の事実は「作品の資料に戻って確かめる」に分けます。原文では、判定が自分の理由の中から取り出した疑問をルーターが小さな主張に言い直しますが、この道具は資料で決まらない主張をそのまま確かめ直しに回す、簡単にした形です (当サイトの見立て)。
- 判定が変わるか:原文は、次の段が最初の判定を覆すのは 2つの場合だけだとしています。不合格から合格になるのは、最初に落とした理由も含めて、確かめ直した点が全部裏付けられたとき。合格から不合格になるのは、確かめ直した点のどれか 1つでも否定されたときです。原文の 2つの場合は「裏付けられた」と「否定された」だけで、確かめても決まらなかった点の扱いは書かれていません。この道具では、決まらなかった点はどちらの場合にも当たらないものとして扱います (当サイトの見立て)。
試してみる
- 初めの状態 (どの文も 1つ目の部品) では、主張 6件が全部資料どおりで、「文字どおりの誤りも、含みの誤りも見つかりません。」と出ます。
- 1文目を「記者の小野が時計店を取材する」にすると、主張は全部資料どおりのまま、含みの見方だけが「誤りあり」になります。
- 3文目を「仲間のはやせと二人で立て直す」にしても同じです。はやせは職人で、二人で店を立て直すのも資料どおりですが、初めは店を買い取ろうとする相手だったことが抜け落ちます。
- 2文目を「心温まる町の人々の物語」にしても誤りにはなりません。 原文は、作品の中で誰もその言葉を使っていないという理由で評価の言葉を含むあらすじを落とすのを、細かすぎる理由で落とす例に挙げています。
- 2文目を「海外の映画祭で賞を取った」にすると、確かめ直す主張が 1件出て、「作品の外の情報で確かめる」に回ります。3文目を「祖父の弟子だったはやせと手を組む」にすると、「作品の資料に戻って確かめる」に回ります。
- 2つ目の道具の初めの状態 (最初が不合格、点が 2つで、どちらも裏付けられた) では、合格に変わります。どちらか 1つを「確かめても決まらない」にすると、不合格のままです。
- 点が 3つなら、結果の組み合わせ 27通りのうち、不合格から合格に変わるのは 1通り、合格から不合格に変わるのは 19通りです。
2つの見方を分けると、何が変わるか
1つ目の道具で文を入れ替えてみると、主張を一つずつ資料と照らすだけでは、主張が全部本当のあらすじは通ってしまうことが分かります。含みの見方は、文が読み手にどんな話だと思わせるかを見るので、照らす相手は資料の 1行ではなく、物語の中心や、人と人の関係の流れです。見る所が違うので、一つの問いにまとめて聞くより、問いを分けたほうが、どちらの誤りかを分けて示しやすくなります。
逆に、評価の言葉まで資料と照らすと、誤りでない文まで落ちます。どの言葉を事実の主張として数えるかは、照らす前に決めておく必要があります。
判定の覆し方は、片側に寄っている
覆すのが合格から不合格の向きに寄っているのは、本当に事実に合わないあらすじを見逃さないことを主な指標にする原文の評価の仕方と、向きがそろっていると読めます (当サイトの見立て)。原文は同時に、Recall-FAIL が上がっても Recall-PASS への影響は限られ、合格の判定の確かさを犠牲にしていないとしています。
当サイトが足したもの:一次資料をたどる
一次資料をたどる:主張ごとに数える評価 (FActScore) と並べる
あらすじを小さな主張に分けて確かめる考え方には、先に研究があります。
2023年の論文 FActScore は、言語モデルが書いた文を小さな事実 (atomic facts) の並びに分け、信頼できる知識源で裏付けられる事実の割合を出す評価です。論文は出発点として、言語モデルの長い文には裏付けのある情報と無い情報が混ざるので、良いか悪いかの二択では足りない、と書いています。
原文の仕組みはこれと向きが違い、合格か不合格かの二択を残したまま、小さな主張に分けるのは、確信の低い判定の怪しい所だけです (当サイトの見立て)。
道具の「資料で裏付けられる主張」は、主張ごとに資料と照らして割合を出す数え方です。36通りのうち、この割合が 100%なのに含みの誤りがある組み合わせは 6通りあります。主張を一つずつ照らす数え方は、どの主張も本当なのに全体で違う印象を与える誤りを、それだけでは数えられません。原文が含みの誤りを別の判定にしたのは、この穴を埋める形だと読めます (当サイトの見立て)。
原文は FActScore を引いておらず、並べたのは当サイトです (当サイトの見立て。原文の本文に、この論文の名前やリンクは見当たりません)。
当サイトが足したもの:小さなチームで試せること
小さなチームで試せること
見る所ごとに、別々に聞く
AI に文章を確かめさせるなら、「全体として正しいか」を何回も聞くより、見る所ごとに問いを分けて聞くほうが、何が足りないかを見つけやすい形です。原文は、一つの判定を繰り返して偶然に頼るより、誤りの種類を決めて探すほうがうまくいったと書いています。
理由の中の「ただし」を拾う
判定の理由を、合否と一緒に必ず書かせておくと、後から読み返せます。原文は確かめ直す手がかりとして、判定が理由の中で仮定を置いた所、資料では解けない疑問を挙げた所、矛盾に気づいたのに小さいとして退けた所を挙げています。小さな仕組みなら、理由の文に「ただし」「おそらく」「と仮定すると」が出たものだけを人が見る、から始められます。
覆す決まりを、向きごとに先に書いておく
確かめ直した結果で判定を変える決まりは、合格から不合格へと、不合格から合格へを分けて先に書いておくと、後から迷わずに済みます。原文は、事実に合うかどうかを人が判定し、その理由も書いたあらすじの集まりを作り、仕組みの比べ方の土台にしています。小さなチームでも、合否と理由を人が書いた例を数十件そろえておけば、問いの分け方を変えたときに比べられます。
確かめる先を、主張の種類で分ける
作品の外の事実 (受賞・評判・原作) と、作品の中の事実では、確かめる資料が違います。疑問の点ごとに「どこを見れば決まるか」を一緒に書いておくと、確かめ直すときに資料を全部読み直さずに済み、決まらなかった点も、決まらなかったと記録できます。
真似しなくてよいこと
扱うあらすじが少ないなら、確信で振り分ける段や、ウェブで調べる判定を自前で作る必要は薄いはずです。まずは見る所ごとの問いと、理由の中の疑問を人が見る、から始めれば足ります。
原文を読む順番
原文の本文は英語でおよそ 2,400語です。時間が無ければ「Insight 3」の節と、その次の「Putting It All Together」の節から読むと、この記事の道具との対応がつかめます。Insight 3 は、判定の理由から疑問の点を取り出し、確かめる先へ振り分ける話で、道具の一つ目の「確かめ直す主張と、確かめる先」に当たります。Putting It All Together は、次の段が最初の判定を覆す 2つの場合の話で、道具の二つ目に当たります。この記事は、原文の本文の文に書かれた数だけを使い、評価の表の画像の中の数は使っていません。
出典
確かめた日はどれも 2026年11月13日です。
- Fact-Checking at Scale: Building a More Accurate and Efficient Synopsis Factuality System(Netflix TechBlog、2026年11月9日。原文。RSS の全文で読みました)
- FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation(Min ほか、arXiv、2023年5月23日に初版、10月11日に第2版。概要の文を使いました)
この記事の架空の作品と道具は当サイトが作ったもので、原文の図・画像と、原文に出てくる作品のあらすじの文は使っていません。