Googleのセーフブラウジングは確認されたフィッシングサイトの84%を見逃した

45日前原文(www.norn-labs.com)

概要

Huginnによるアクティブなフィッシング検出の月次レポート開始
Google Safe Browsingによる検出率の低さが明らかに
Muninnの自動・ディープスキャンによる高精度な検出性能
信頼性の高いプラットフォーム上でのフィッシング増加
攻撃手法の高度化と検出ツールの課題

Huginnが発見したフィッシングの現状

HuginnによるURL監視とフィッシングサイトの特定
- 2月中に254件のフィッシングサイトを検出
- 公開脅威インテリジェンスフィードからURLを収集
Google Safe Browsing（GSB）の検出状況
- 検出時点でGSBがフラグしたのは41件のみ
- 83.9%（213/254）がGSB未検出
- Chrome標準保護の限界を示唆
Muninnによる自動スキャン
- **94.1%**のフィッシングサイトを自動検出
- 正規サイト9件中6件を誤検出（偽陽性）
Muninnディープスキャン
- 全フィッシングサイトを**100%**検出（偽陰性ゼロ）
- 正規サイト9件すべてを疑わしいと判定（調査時に有用）

フィッシングのホスティング傾向

信頼性の高いプラットフォーム上でのフィッシング
- 58.7%（149/254）がWeebly、Vercel、GitHub等にホスト
- ドメイン全体のブロックが困難なため、ページ単位での検出が必要
Google関連サービスの悪用
- Google Docs、Google Forms、Google Sites、Google Apps Script等で16件発見
- GSBによる検出ゼロ
- Google自身のインフラ上で発生するフィッシング

なりすまし対象ブランド

フィッシングで狙われる主なブランド
- Microsoft（28件）が最多、次いでGoogle（21件）、Netflix（19件）、Amazon（16件）、AT&T（13件）
- 仮想通貨・DeFi関連も14件と増加傾向
  - Uniswap、Raydium、pump.fun、Trezor、MetaMaskなど
- Discord等でのリンク共有による被害拡大

具体的な攻撃事例

二段階S3クレデンシャル収集型攻撃
- 第一段階：Amazon S3上の誘導ページでメールアドレス入力
- 第二段階：外部ドメインへリダイレクトしMicrosoftログイン画面を模倣
  - 一度目のアクセス時のみ本物そっくりの画面を表示
  - 二度目以降はWikipedia等にリダイレクトし、セキュリティ研究者・自動検出の回避
  - セカンダリーボタンが機能しない、誤ったエラーメッセージ等で判別可能
- VirusTotalでも未検出事例あり
Calendlyなりすまし攻撃
- 実在するAllianz社員のCalendlyページを模倣
- スケジュール後に偽Googleサインインページへ誘導
- ドメイン確認やボタンの非機能で判別可能
カーラッピング詐欺
- 広告ラッピングで報酬が得られると謳い、個人情報を取得
- 偽小切手送付後、被害者に実費を支払わせる典型的な詐欺手法

検出ツールの限界とMuninnの役割

Google Safe Browsingの課題
- ブロックリストベースのため、新規攻撃や信頼プラットフォーム上の攻撃には対応が遅れる
- 一度報告・審査されるまで保護が機能しない構造的制約
Muninnの強み
- Chrome拡張機能として提供
- 常時監視の自動スキャンと調査用のディープスキャンによる多層防御
- 新規フィッシングや高度な回避手法にも対応

Muninn・Yggdrasilへの参加呼びかけ

MuninnのChrome拡張機能の試用を推奨
フィッシングサイト発見時はYggdrasilへの情報提供を依頼
コミュニティによるデータ共有で全体の防御力向上を目指す

Hackerたちの意見

使われている指標がよくわからないな。まあ、LLMが書いた記事っぽいから、そういうもんかもしれないけど。最初に約250のURLから始めたって、ちょっと少なすぎる気がする。毎月何万もの悪意のあるウェブサイトが増えてるはずだし、Safe Browsingがその中の16%以上をフラグ付けしてるんじゃないかな？それなのに、どうやってそんな少ない数に絞ったの？特にこのサイトたちが選ばれた理由は？…両方のアプローチの偽陽性率・偽陰性率はどうなってるの？一体何が起こってるんだ？

└

データセットについてもう少し詳しく説明できたかもね。うちのツールは250以上のURLを引っ張ってくるけど、手動で確認してるから、データセットは小さくなっちゃうんだ。つまり、引っ張ってきたURLの中で、この250は人間によってフィッシングとして確認されたものなんだ。それ以上の選別はしてないよ。記事に関しては、グラフや文法チェックにLLMを使ったけど、それだけだよ。これがこの作業を始めた初月で、今後はレビューのキャパを広げるためにもっと大きなデータセットを持ちたいと思ってる。Safe Browsingが16%以上をキャッチするかどうかは、攻撃が始まった時のタイミングによるけど、最初は0%に近いかもしれない。でも時間が経つにつれて、その数字は確実に上がるよ。

└

>両方のアプローチの偽陽性率・偽陰性率はどうなってるの？偽陽性率は100%だよ。彼らはすべてをフィッシングだと言ってるからね。「フルデータセットを深層スキャンにかけたとき、確認されたフィッシングサイトはすべて捕まえたけど、偽陰性はゼロだった。代わりに、データセット内の正当なサイト9つをすべて疑わしいとフラグ付けしたけど、信頼できないリンクを調査しているときにはそれが価値があるんだ。」

ブロックリストは、悪意のあるインフラと正当なインフラを分けられる前提で成り立ってる。フィッシングがGoogle SitesやWeeblyに移ると、そのモデルは通用しなくなるんだよね。

GSBや中央集権的なブロックリストのアイデアは、間違ったときの影響や検閲の問題があるから、あんまり好きじゃなかったな。6〜7年前に修士論文のために、ユーザーをウェブブラウザで安全に保つためのプライバシーを守る代替手段を提案したんだ：https://scholarsarchive.byu.edu/etd/7403/ Chromeがそのアイデアの一つか二つを採用したと思う。今の時代、特にLLMの世界では方法をアップデートする必要があるかもしれないけど、業界がこれらのアプローチを洗練させて実装してくれることを願ってる。

└

ブロックリストは、何かしらの理由で常に使われるよね。今回は確認済みの悪意のあるサイトだから、検閲と誤解されるような主観的な分析要素はないんだ。でも、仮にあったとしても、検閲は言論の権利を意味する。つまり、Googleはユーザーの言論を制限する権利があるってこと。実際、拡張機能を使えば、Chromeを使っているユーザーを検閲するものもたくさんあるよ。

反悪用や信頼・安全の分野で少し時間を過ごしたから、こういうベンダーレポートはいつも大きな疑いを持って見るんだ。これは、リンゴとベンダーのマーケティングオレンジを比較してる典型的なケースだよ。「84%の見逃し率」っていう見出しは、システム的な崩壊のように聞こえるけど、GSBのようなグローバルデフォルトと専門の企業ベンダーが運営する際の制約の違いを見れば、全然違うからね。一番の要因は偽陽性の崖だよ。Google Safe Browsingは、Chrome、Safari、Firefoxの何十億ものクライアントにとってのデフォルトの安全ネットだから、GSBの偽陽性率がほんの少しでも上がると、正当な小規模ビジネスやSaaSプラットフォーム、地方のポータルがインターネットから消えちゃうことになる。だから、GSBは基本的に非常に保守的でなきゃいけない。一方で、ブティックセキュリティベンダーは、企業環境での過剰ブロックがITサポートのチケットになるだけだから、かなり攻撃的になれるんだ。現代のフィッシングインフラの儚い性質や基本的な選択バイアスも考慮しなきゃいけない。脅威のアクターは、自動化されたDGAや侵害されたホストに大きく依存していて、ペイロードの生存時間は数時間、場合によっては数分で測られるからね。もし専門のベンダーが午前10時にゼロデイのフィッシングリンクを検出して、GSBが午前10時15分までに何十億ものエッジクライアントに自信を持ってグローバルブロックを広められなかったら、そのベンダーはそれを「見逃し」としてカウントするんだ。さらに、ベンダーは自社のエンジンが見つけるように調整された特定の脅威のサブセットに対してテストするから、84%って数字は科学的なベースラインというよりは、マーケティングの指標として理解できるようになる。GSBが今完璧だと言うつもりはないよ。最近の自動化された高度にターゲットを絞ったスピアフィッシングやMFAバイパスプロキシキットの急増についていくのは本当に大変だからね。でも、このレポートは実際には何なのかを理解するべきだと思う。つまり、製品を売ろうとしているセキュリティベンダーの賢いマーケティング推進であって、インターネットの基本的な免疫システムが完全に壊れているというサインではないんだ。

└

> 263のURL（フィッシング254、確認済みの正当なもの9）をMuninnの自動スキャンにかけたんだ。このスキャンは、君が何もしなくても訪れたページで自動的に動くやつね。自動スキャンだけで、254のフィッシングサイトのうち238を正しく特定して、正当なページを6つだけ誤ってフラグ付けしたんだ。[...] ただし、データセット内の正当なサイト9つを全て疑わしいとフラグ付けしたのが問題なんだけど、これって正当なサイトに対して66%/100%の誤検知率ってこと？GSBがこの比率だったら、完全に使えないよね。だから、この二つを比較するのは絶対に間違ってる…

└

> こういうベンダーレポートはいつも大きな疑いを持って見るよ。そうだね。「うちの製品について適当に集めた数字が載ったブログ記事です[...] 結果、すごくいいことがわかりました！」ってのはちょっと退屈だよね。でも、それに「Google [...] 悪い」って見出しをつけると、HNのトップページにすぐ行っちゃうんだよね！

└

これらは妥当な意見だし、かなり同意するよ。GSBは私たちがやってないスケールで動いてるし、数十億のユーザーのデフォルトであることからくる保守的な姿勢は本当に制約になる。投稿はそれを認めようとしてるし（「これらすべてからの教訓は、Google Safe Browsingが悪いわけではない」）、スキャン時点でのタイミングの注意点についても正直に言ってる。私が反論したいのは、これが一般の人にとって何を意味するかってこと。ほとんどの人は、メールプロバイダーやブラウザが提供する以上のフィッシング対策を持ってないんだ。もしその対策が根本的に反応的で、脅威が発生してから数時間や数日後にしか捕まえられないなら、それは正直に話すべき本当の制限だよ。84%の数字はGSBが壊れてるって言いたいわけじゃなくて、ギャップがあって、そのギャップが実際のユーザーに影響を与えるってことを言いたいんだ。マーケティングの観点からは、今は何も売ってないよ。拡張機能は無料だし、URLの検証も無料でできる。私たちが今後絶対に売らないとは言えないけど、少なくともデータとURLをチェックする機能（PhishTankが登録を閉じる前のように）は常に無料だよ。このデータセットは、私たちのツールを良く見せるためにキュレーションされたものじゃなくて、公開された脅威インテリジェンスフィードから得たものなんだ。こういう発見を公開するのは価値があると思うよ、たとえ私たちのツールに関することを脇に置いたとしても。

└

> こういうベンダーレポートはいつも大きな疑いを持って見るよ。これは、リンゴとベンダーのマーケティングオレンジを比較する典型的なケースだね。84%のミス率を叫ぶ見出しは、システム全体が崩壊しているように聞こえるけど…これはIPブロックリストの分野で見たことがあるんだ。ファイアウォールルールを重ねていくと、優先度の高いレイヤーがより頻繁に見えるようになる。だから、他のレイヤーがダメだってわけじゃない。セキュリティは常にAかBの状況じゃないからね…一方で、GSBの実装についてはどう感じるかはわからないけど…君が訪れるすべてのウェブサイトをGoogleに伝えてるけど、そのサイトはすでにGoogleアナリティクスやSSOを持ってる可能性が高いよね…

こういう比較でよく見落とされるのが、配信のレイテンシーなんだ。内部でフィッシングドメインを検出するのは一つの問題だけど、確認済みのブロックを世界中の何十億ものブラウザに配信するのは全く別の運用上の課題なんだ。Safe Browsingのようなシステムは、伝播時間、キャッシュレイヤー、更新間隔、そして偽陽性をグローバルに押し出すリスクについて考えなきゃいけない。専門のベンダーは、はるかに小さな顧客基盤に対して瞬時に更新できるから、その違いだけでもスナップショットスタイルの測定では「見逃し」に見えることがあるんだよ。

└

ボットじゃないなら、声を変えてボットと区別できるようにした方がいいよ。君は間違ってないけど、昨日の「asyncioについて人をつまずかせる一つのこと」についても間違ってなかったけど、スラップスピークにすぐ気づいたよ。他の人もそう感じてると思う。

もしかしたら私は少数派かもしれないけど、正当なサイトを誤ってブロックするよりはこれがいいかな。そうじゃないと、Googleが好きなインターネットの一部を囲い込むための別のツールになっちゃう。

フィッシングを止めるのには賛成だし、ツールも素晴らしいと思うけど、Webストアの拡張機能のリストはすごく気になる。新しい会社や提供があっても、ユーザーはたった4人で、評価も1つ（もちろん5点）だけ。試してみたいけど、なんか怪しいな… :-(

安全なブラウジングがブロックするサイトの中で、どれだけが誤検知なのかを見るのは面白そうだね。

「Muninnを試してみたいなら、Chromeの拡張機能として使えるよ。まだ始まったばかりで、ドメインも4ヶ月も経ってないし、ソフトウェアも初期段階なんだ。でも、もう役に立つっていう誤解を招くマーケティングをしてるのはどうなんだろうね。」

ハクソク