概要
Google Searchが 検索結果リンク を /goto 形式に変更。 本来のURL はHTMLから直接読めず、 リダイレクト で取得。 AIクローラーやSEOツール による自動収集対策が強化。 Automは APIでのリンク解決 に対応済み。 SERPデータ収集 の難易度が上昇。
Google Searchの/gotoリンク導入と影響
- 2026年8月後半から、Google Searchの オーガニック検索結果リンク が google.com/goto?url=... 形式に切り替え
- HTML上に直接目的地URLが表示されない 仕様
- 検索結果をクリックすると、Googleが リダイレクト して実際のページへ転送
- urlパラメータ はGoogle独自のエンコーディングで、 プレーンなbase64ではない
- 実際には、 Googleのインデックスレコード への参照のような不透明な値
- ログアウト状態 や プライベートモード で一貫してこの形式を確認
- まだ実験段階の可能性もあるが、 限定的な展開ではなくなった
- 従来のgoogle.com/url形式 とは異なり、 /goto エンドポイントを使用
- /gotoのLocationヘッダー に本来のURLが含まれるが、 オフラインでのデコードは不可
- SERP上のドメインやファビコン表示 にはURLのコピーが使われているが、これは別の話
技術的な解決方法
- /gotoリンク に対し HEADリクエスト を送り、 Locationヘッダー から目的地URLを取得
- リダイレクトを実際に踏まず、Locationのみ取得が推奨
- HTMLパースだけでURLを抜く手法が無効化 されるため、SERPデータ収集の難易度が上昇
Googleの狙いと背景
- AIクローラーやSEOスクレイパー対策 の一環
- これまでのプレーンテキストリンクでは、 HTMLパースのみで大量のURL収集が可能
- goto方式 では、各リンクごとにGoogleへのリクエストが必要
- 大量リンク解決時にクライアント挙動が可視化 され、Google側の監視が容易に
- &num=100 の廃止や BotGuard/SearchGuardの強化 と合わせ、 SERPスクレイピングのコスト増加 を図る動き
Automでの対応状況
- 初期は 一部のSERPのみgoto形式 だったため、全ユーザー対応が困難
- 2026年8月以降、 ほぼ全てのSERPでgotoリンク化 が確認されるように
- AutomのGoogle Searchパイプライン では、/gotoリンクの Location解決 に対応済み
- APIレスポンス内で最終目的地URLを返却、既存のフィールド構造を維持
- 利用者側での追加対応は不要
- 今後もGoogleの仕様変更を監視し、必要に応じてアップデートを継続
関連情報・参考記事
- google.com/goto: HEADでLocationを読む方法
- Googleがnum=100を廃止した理由
- GoogleがSerpAPIを提訴した事例とSearchGuardの裏側
- Google/Bing/BraveでのSERPスクレイピング比較
- Googleの仕様変更下でのライブSERPデータ取得方法
- Automで 1,000件の無料リクエスト を試す
- APIキー取得: app.autom.dev/register
Googleの検索結果に直接のURLが表示されなくなって、www.google.com/goto?url=みたいなリダイレクトURLに変わったんだよね。base64データは、URLを特定すると思われる長いバイト列がフィールド2に含まれた、すごくシンプルなprotobuf構造になってるみたい。時々、このリダイレクトURLが読み込むのに結構時間がかかることがあって、めっちゃイライラする。