インターネット上のボットの状況は、あなたが想像しているよりも悪化しています

有効化される前は、毎日数十万件のリクエストが来てたんだって。アヌビスがアクティブになった途端、24時間後にはリクエストが11件に減った。こういう実験データ大好き！アヌビスが導入されたときの直感的な反応なんて、スパムみたいなもんだったから、全然違うよね。

シンプルなPoWがほぼすべての活動を止める効果に驚いてる。全プロジェクトでアヌビスを低難易度で実装して、sitemapやrobots.txtにしっかりllms.txtを参照させて、LLMが自サイトの関連データを取得できるようにしつつ、悪質なボットを排除するつもり。中国からのリクエストが何千件も来てて、コストがかなり増えてたから、解決策が簡単そうで嬉しい。

プレスタショップのウェブサイトでこのパターンがすごく多いんだ。ボットからのリクエストが何千件、いや何十万件も来てて、User-agentで自己主張してないし、いろんなIPから来てる。めっちゃウザい。しかも、見た目は正当なトラフィックに見えるからフィルタリングもできない。色やサイズなどのオプションがあるページでは、すべての組み合わせを試して、リソースを食い尽くしてる。

2分間このページにいるけど、まだボットかどうか確信が持てないって笑。前世で何をしたらこんな目に遭うんだろう :(

スパムや詐欺、ボット管理のツールを作り始めたんだ。もし既に decent なインフラが整ってるなら、いろんなテクニックを使って結構管理しやすいタスクだよ。明らかなやつ、例えばアリババとかには ASN ベースのブロック（IP ルックアップデータベースは自己ホスティングできて ASN を含む）を使って、あまり明らかでないやつにはサブネットブロックを使う（パターンを見て、サブネットをブロックすることで、問題を軽減するけど解決はしない）。ログのスタックがあれば、クローラーやボットのパターンを簡単に見つけられるし、ブロックするための候補となる IP サブネットをフラグ付けできるよ。確かに、これは whackamole みたいなもんだけどね。リスクデータベースに基づくブロックも試してるところで、プロバイダーによって年間 $2k から $10k の間で運用されてる。これらは IP 範囲を is_vpn や is_tor みたいなブール値にマッピングして、ASN 情報も含んでる。少し怪しいクローリング行動やキーワードフラグがそのデータベースにヒットすれば、高い信頼度のブロックができるよ。こういうのは今や claude で簡単にできるから、前は本当に面倒だった。