ハクソク

世界を動かす技術を、日本語で。

インドの最高裁判所、下級裁判官が偽のAI生成命令を引用したことに激怒

45日前原文(www.bbc.com)

概要

  • インド最高裁判所がAI生成判決の使用に法的警告
  • AIによる偽判決が裁判の信頼性に深刻な影響
  • 下級裁判所の判決がAIを根拠にしていた事例が発覚
  • 高裁・最高裁ともに問題視し、AI利用規制の必要性を強調
  • 世界各国の司法機関も同様のAI問題に直面

インド最高裁判所、AI生成の偽判決に法的警告

  • インド最高裁判所が、AIによる偽判決の使用について「重大な制度的懸念」と表明
  • アンドラ・プラデシュ州の下級裁判所で、不動産紛争判決にAI生成の偽判例が引用された事案
  • 被告側の異議申し立てにより、引用された4つの判例が実在しないことが発覚
  • 高等裁判所は「善意のミス」と認定しつつも、判決自体は支持
  • 最高裁判所は「単なる判断ミスではなく、職務違反」として下級裁判所の判決を一時差し止め
  • 裁判の公正性・信頼性がAI利用によって損なわれるリスクを重視
  • 法務長官・弁護士会に意見を求め、今後の審理を継続

AIと司法の関係、世界的な課題

  • AIツールの普及により、判決文や訴状の自動生成が増加
  • **AIの「幻覚（hallucination）」**による誤情報や架空判例の生成が問題化
  • 米国や英国でもAI利用による誤判例引用事件が発生
    • 2023年10月、米連邦裁判官2名がAI使用で誤判例引用
    • 2025年6月、イングランド・ウェールズ高裁がAI生成資料の利用を警告
  • インド最高裁判所は2023年、AI利用のガイドラインとベストプラクティスを公表
  • 人間による監督と制度的なセーフガードの重要性を強調

今後のAI利用と司法制度

  • AI活用の利便性とリスク管理のバランスが課題
  • 司法関係者の教育・ガイドライン整備の必要性
  • AIによる裁判資料生成は、あくまで補助的役割に限定
  • 制度全体の信頼性維持を最優先とする司法運用方針

Hackerたちの意見

どれくらいのケースが起きないと、弁護士たちはLLMが言うことが本当に正しいか確認する必要があるって気づかないんだろう？
└
アメリカではこれがよく見られるの？ これはインド特有の問題に思える。
└
それよりひどいよ。弁護士やArs Technicaの話が出てくるのは、結果が公になっていて、ミスがひどいからだ。実際には、みんなに起こっている可能性が高いよ。
└
もう関係ないよ。LLMは、世界中で私たちが作り上げた腐敗した社会を明らかにしただけだね。
└
みんながどれだけ彼らに信頼を寄せているかに驚かされるよ。人間のように聞こえて、すごく権威のある自信に満ちたテキストを出力するから、無意識のうちに疑念を覆い隠しちゃうのかな？
└
重要じゃないよ。ほとんどの時間は正しいように見えるけど、時々微妙で見逃しやすい方法で間違っているプロセスは、基本的に人々をチェックしないように仕向ける機械みたいなもんだから、常に何かが見逃される。自動運転の車と同じで、間違いがあったら飛び込む必要があるけど、人間は運転しているときのように反応できないから、関与していないときはもっと遅くなる。誰も自分で運転していたときのように関与し続けることはできないんだ。LLMからの情報を「ただ」チェックすればいいって言うのはやめよう。それは必然的に人々がチェックしなくなって、何かが見逃されるプロセスに繋がる。みんなが結局そうなってしまうのに、それを人々のせいにするのは馬鹿げてるし、根本的な問題を解決することにはならないよ。
└
なんでこんなAIがいるの？常に人間にチェックさせないとダメなんて。ジャン＝リュック・ピカードがエンタープライズのコンピュータの出力を常に確認してたと思う？そんなことはなかったよね。もしAIが人間より優れてないなら、何の意味があるの？人間を使った方がマシじゃん。
└
この話、ほんとにバカバカしいよ。LLMは参考文献の検証を自動化できるんだから。もし誰かが弁護士、会計士、医者、教師、外科医、エンジニアなどで、GPT-5-extra-lowみたいな低品質のモデルを使って答えを吐き出してるなら、即座にクビにして資格を剥奪すべきだよ。今は簡単だけど、未来の問題はもっと深刻だよ。99.999%の未来のコンテンツは生成AIで作られることになる。FacebookやInstagram、TikTokみたいな非連続的でエンゲージメント重視のフィードを使ってる人たちにとって、今日消費してるコンテンツの50%以上は偽物だよ。そういうのが現代文化に広がると、偽コンテンツを出すべきでないところ（例えばニューヨークタイムズやウォールストリートジャーナル）から排除するのは永遠の戦いになるだろうね。未来の価値や利益率は、正しいデータにあるかもしれない。
└
今週、25%の引用が捏造されていて、残りの50%も間違っている科学論文の引用を追跡したんだ（著者はここにいるかもしれないけど）。ArXivの論文を引用して、（例えば）IJCLRに属するとして引用していた。これは弁護士だけの問題じゃないよ。
> 彼女は判決を誤って引用したり誤解させるつもりはなく、「自動ソースに依存したために間違いが起きた」と高等裁判所は書いている。意図はここでは重要じゃないと思う。LLMを使って「自動化」するすべての職業に当てはまる話だよ。責任はプロにあるのであって、LLMにはない。Ars Technicaのケースも同じ理由で正当化できたはずだ。法律を知らないことは法律を破る言い訳にはならないのに、ツールを知らないことがツールを責める言い訳になるのはおかしいよね。
└
だから、LLMがどの職業でも人間を完全に置き換えることはないんだよね。機械に責任を持たせることはできないから。お金が絡むと、私がいろんなサポートチャネルで体験するチャットボットも、結局は人間の介入が必要になるし。真の一般知能があればこれらの問題を解決できるかもしれないけど、LLMはそのレベルにはまだ達してないと思う。確率的なオウムは世界を支配することはないよ。
└
彼らは危険を知らなかったとは言えないよね。LLMの幻覚については、ずっと話題にされてきたことで、 obscureな失敗モードじゃないから。AIの問題に関するほとんどの記事がこれに触れてるし。だから、裁判官は怠けてたか、無能か、その両方だと思う。
└
LLMを使って自動化するのは、単に新しい安価なアウトソーシングで、エンターテインメントの面では同じだけど、食中毒や空の旅は少なくなるって感じだね。過去20年で、西側の多くのエンジニアリング（ちゃんとしたエンジニアリング、ソフトウェアじゃなくて）作業が安い場所にアウトソーシングされて、認定エンジニアが他の場所でやった仕事にサインをするだけになってる。これが、ますます早く・安く物事を進めるサイクルを生んで、安く早く進めるプレッシャーの中で安全策が消えていく結果になってる。誰かが指摘したように、LLMは実際には私たちがどれだけ劣化した状態に向かっているかを暴露しただけで、それ自体が原因じゃないんだよね。基準がない人たちには厳しい状況になるだろうし、安いものを楽しんでいる間はいいけど、すぐにそれも消えてしまうと思う。驚いたピカチュウの顔がみんなに広がるよ。（ちなみに、私はAI推進派だけど、責任を持って使ってほしい。）
└
> ツールを責める言い訳 結局、人を責めることはあまり解決にはならないよね。本当に特異なケースでない限り。でも、もしこれが一度起こったなら、また起こる可能性が高いし、これは法律におけるLLMの幻覚の最初のケースじゃないから。特定の事例で誰かを指摘するのは簡単だけど、何度も繰り返されるのを見ると、何かを防ぎたいならツールを調整する必要があると思う。たとえそのツールを使っている人が毎回間違っていたとしても。
└
意図性は、普通、コモンローの国では考慮されるべきだよね。だからといって、彼女が何も悪いことをしていないわけじゃないけど、明らかに意図的に何かをするのは、うっかりや無謀にやるよりももっと深刻だよ。
└
> 法律を知らないことは、法律を破る理由にはならないよね。そういえば… https://metro.co.uk/2016/07/03/rapist-struck-again-after-dep... > 強制送還が覆されたソマリア人の強姦犯が、釈放された後にさらに2人の女性を強姦した。 > でも、彼はイギリスでそれが受け入れられないことを知らなかったから、刑期を終えた後に強制送還が覆されたんだ。
これはアメリカやイギリスでも大きな問題だよ。弁護士たちは全然技術的じゃなくて、しっかりしたガバナンスのシステムが必要だ。今はチャットボットで（直接編集して、差分も取らずに）文書を扱っているから、こういうミスが避けられないんだ。
こういうことはこれからもっと増えるだろうし、AIによる人の大量置き換えっていうのは、まさに「見えない象」みたいなもんだよね。結局、誰かが責任を持たなきゃいけないし、何かがうまくいかなかった時には誰かが解雇されたり、刑務所に行ったりする必要がある。人間の生産性を上げることはできるけど、しばらくの間は人間をループから外して、AIを使っても災害や訴訟を招かない実装は無理だと思う。それが、企業がAIから期待されている生産性の大幅な向上を実感できていない理由だし、今多くの企業がAIの取り組みからROIがゼロだと言っている理由でもある。最初に影響を受けるのは、インドのオフショアリング業界のような低価値の単純作業だろうけど、AIが人間を置き換え始めたら、まずそこが消えていくと思う。でも、企業がAIによる大量の労働置き換えで成功を収めるまでは、価値の高い仕事は比較的安全だろうね。追記：最近の「AI生産性」を理由にした大規模な解雇は、ほとんどが厳しい目で見られていない。結局、過剰採用した企業がスタッフを削減しているだけで、経営陣はその理由を認めたくないだけなんだよね。
└
> 誰かが責任を持たなきゃいけない。何かがうまくいかなかった時には誰かが解雇されたり、刑務所に行ったりする必要がある。AIが間違えた時にプラグを抜くぞと脅すことで、止める動機になる時が転機になるだろうね。ある人たちは、実際にそれがトレーニングプロセスの一部だと指摘するかもしれない。何度もこのループを回れば、そこにたどり着くと思う。
└
ただ単に正しいツールを使っていないことから問題が生じているだけじゃない？リスクが高くて詳細を確認すべき時には、正しいツールは、nouswiseやnotebooklmのようなAIソリューションで、ほとんどの人が幻覚を起こすかもしれない一般的なチャットボットじゃないと思う。このユースケースは確かに多くの手作業を自動化するための低いハンギングフルーツだと思うけど、応答を検証するための透明性のような新しい要件も伴うんだよね。
└
これはいつも以上に明確なケースだと思う。ソフトウェアエンジニアやオフィスワークには、誰がその仕事をできるかの法的制限はないけど、弁護士や医者にはあるよね。だから、これがツールなら、責任は完全にユーザーにあるし、もしこれが「他の人の仕事」として扱われたら、ユーザーはその仕事を許可されてない人に渡したことになる。結局、ユーザーが罪を犯すことになるんだ。
└
ほとんどの国では、AIの時代以前から、判事が悪い判決に対して責任を問われることはないと思う。「チェックアンドバランス、ただし司法は除く」って感じだね。
└
あるいは、AIはインドで携帯電話が登場したときの固定電話のようになるかもしれない。安価なモデルが教育を提供できることで、インドはまるごと知的な世代を飛ばすことができるかも。全体の人口が「価値が低い」とか、給料が少ない、知識が少ない、生活が少ない…みたいなナarrティブはもうやめよう。この「少ない」っていうの、もううんざりだよ。パラダイムシフトを受け入れよう。神がついにAIの奇跡を通じて支援を提供してくれてるんだ。
└
AIに関してはもっと衛生面に気を使うべきだよね。LLMから出てくるテキストは特別なUnicodeのコードブロックに入れて、AIが生成したものだってわかるようにすべきだと思う。それをしなかったり、いじったりするのは、手術前に手を洗わない医者みたいに、悪い衛生状態だと見なされるべきだよ。
└
反論：大手テック企業が法律を破っても、誰も解雇されたり、刑務所に行ったりしない。企業は謝罪を出して、課せられた小さな罰金を払って、違法なAIの使用を続けるだけだよ。
└
> 何かがうまくいかなかったときには、誰かが解雇されたり、刑務所に行ったりしなければならない。法律では、誰かが必ず責任を取ることになる。アメリカの弁護士の中には、AIの不適切な使い方で制裁を受けた人もいると思う。他の職業では...あまりそういうことはないね。保険会社がAIを好む理由の一つは、「コンピュータ」が小さなティミーを殺す決定を下したと言えるからだと思う。
└
> どうしてこんなに多くの企業がAIの取り組みからROIがゼロだと言っているのか。従業員がその利益を自分たちのものにしているからだと強く疑っている。XYZレポートは通常、一週間かかるところが、今は一日で書けるようになった。残りの4日は忙しそうに見せるために使っている。MITの報告書では、これらの企業がAIで何も進展していないことがわかったけど、ほぼ全ての従業員がほぼ毎日AIを使っていることもわかった。ただし、企業のアカウントではなく、個人のアカウントを使っている。
└
> まだ誰かが責任を持たなきゃならない。何かがうまくいかなかったときには、誰かが解雇されたり、刑務所に行ったりしなければならない。子供の頃、「コンピュータがダウンした」と言って、物事がキャンセルされたり、オフィスが閉まったり、バスや電車が運行しなかった理由をよく聞いていたのを覚えている。ある時、コンピュータがダウンした理由は、誰かが[コーディング]エラーを犯したからだという記事を読んだことがある。コンピュータ自体は問題なかったのにね。そのコンピュータをダウンさせた人がどのように処分されたのか、まだ読んだことがないよ。
次のトークン予測と幻覚をバグとして。これは、LLMが最も重要な場所でこのように使われるときに、誠実さと信頼がオプションだと思っているすべてのフロンティアラボにとって、深刻な懸念事項であるべきだと思う。
これからは、偽の引用がたくさん含まれた論文や出版物が出てくるだろうね。AIはそれらを学習することになる。最終的には、ネット上にある真実のコンテンツよりも、幻覚のような情報が増えていくことになるんじゃないかな。
これって法律の一般的な問題を指摘してる気がする。法律文書は大量のテンプレート的なテキストを生み出すんだよね。弁護士はそれをじっくり読まないで、必要な部分だけをざっと見るだけ。もちろん、弁護士がAIを使って不正を働くべきじゃないし、特にそれをチェックしないならなおさら。でも、これはプロセスを再構築するチャンスのように思える。ラテン語で実装されたアイデアを引き継いでるけど、もっと簡素化できるはず。私は弁護士じゃないから、これは通りすがりに知ってるだけだけど、法律とコードには大きな違いがあるのは分かってる。法律に触れるたびに、こういうケースを聞くたびに、もっと厳密にできる広大なテキストの海があるって感じる。AIが問題じゃなくて、むしろチャンスを指摘してるんだ。
└
法律文書はレイヤリングの問題みたいで、既存の「コード」を壊さないように装飾を重ねてるだけで、全然簡素化されてない感じ。
└
> 法律の問題：大量の定型文を生成する。根本的な問題は、法律の問題は徹底的で正確な言語と明確な文脈を必要とすることだと思う。「定型文」を取り除くと、解釈の余地のある広大なグレーゾーンが生まれる。通常、人間やコンピュータが「要約」したり「平易な言葉」で表現しようとすると、あらゆる文脈や法律的・社会的な「グレーゾーン」を意図的に省略するので、バイアスがかかることになる。法律用語が今のように存在するのは、疑念を取り除こうとする試みだからだよ。それでも、疑念は入り込んでくるけどね。
> インド
└
そうだね、アメリカみたいな先進国では絶対にこんなことは起こらないし、特に連邦裁判所ではあり得ないよ。 https://www.reuters.com/sustainability/society-equity/two-fe...
└
あなたには2つの選択肢があった：1) 記事を読むか、2) インド人に対して人種差別的になるか。あなたは2を選んだね。記事からの引用：> 10月に、アメリカの2人の連邦判事がAIツールの使用によって判決に誤りが生じたとして批判された。2025年6月、イングランドとウェールズの高等法院は、架空または部分的に作られた判決を引用した一連のケースの後、弁護士にAI生成のケース資料を使用しないよう警告した。
> デリーの最高裁の上級裁判官たちが、AIの使用に対して結果を脅かしている。AIを一旦置いておくと、これはインドや他の場所でも広がる問題を反映している。新しい技術に対して、制度が怒りや脅しで反応するのではなく、システム的に考えることが求められる。実際の挑戦はAIそのものではなく、複雑なシステムが変化にどう適応するかだよね。防御的に反応するのではなく、制度は二次的な影響を予測して、規制能力を高めて、これをガバナンスやシステムの問題として扱うべきだ。成熟した制度は、感情ではなく、先見の明やインセンティブ、フィードバックループを持って混乱に対処する。そうでなければ、古いヒエラルキーを強化するリスクがあるし、効果的に公共の利益に奉仕できなくなる。
エンジニアリングやソフトウェア開発の分野で、似たようなケースがどれだけ起こっているのか気になる。誰も気にしていないみたいで、ただ災害が起こるのを待っているだけで、AIの使用を防ぐための規制が始まるのを待っている感じだね。