ハクソク

世界を動かす技術を、日本語で。

Hacker Newsの投稿の65%はネガティブな感情を持ち、パフォーマンスが優れている

101日前原文(philippdubach.com)

概要

  • Hacker Newsでネガティブな投稿は平均より高いスコアを獲得
  • ネガティブ投稿は全体平均より27%高いポイント
  • 32,000件以上の投稿と340,000件以上のコメントを分析
  • 様々なAIモデルで一貫した傾向を確認
  • 研究成果や今後の公開予定についても言及

Hacker Newsにおけるネガティブ投稿のパフォーマンス分析

  • Hacker News上でネガティブな感情を持つ投稿は平均35.6ポイントを獲得
  • 全体の投稿平均は28ポイントであり、ネガティブ投稿は27%のパフォーマンスプレミアム
  • 分析はHNの注目度ダイナミクスを対象
    • データ減衰カーブ
    • 優先的アタッチメント
    • 生存確率
    • 早期エンゲージメント予測
  • 研究のプレプリントはSSRNで公開中

データセットとモデルの詳細

  • 対象データは32,000件の投稿と340,000件のコメント
  • 約65%がネガティブと判定
    • 分類器のネガティブ判定バイアスの可能性も考慮
    • 6種類のモデルで一貫した傾向を確認
      • Transformer系: DistilBERT, BERT Multi, RoBERTa
      • LLM系: Llama 3.1 8B, Mistral 3.1 24B, Gemma 3 12B
    • 分布は異なるがネガティブ傾向は共通
    • ダッシュボードにはDistilBERTを採用（Cloudflare環境で効率的に稼働）

ネガティブとは何か

  • ネガティブの定義
    • 技術批判
    • 発表への懐疑
    • 業界慣習への不満
    • APIへのフラストレーション
  • HNのネガティブ投稿は建設的批判が中心であり、個人攻撃や毒性とは異なる性質

ネガティブとエンゲージメントの関係

  • ネガティブな投稿がエンゲージメントを生むのか
  • もしくは議論を呼ぶ投稿がネガティブになりやすいのか
  • おそらく両方の要素が影響

今後の公開予定と連絡手段

  • 研究のコード・データセット・ダッシュボードを近日公開予定
  • 最新情報の取得方法
    • RSSフィードの購読
    • Blueskyでのアップデート受信
    • 直接のアップデート希望も受付

Hackerたちの意見

ネガティブな投稿の方が、中立的やポジティブな投稿よりも反応が良いことが多いんだよね。タイトルが「最もアップボートされる可能性が高い」って判断する分類器を持ってて、「Richard Stallman is Dead」がその最適なタイトルなんだ。もう一つは「コメント/投票比率が0.5を超える可能性が高い」って判断するやつなんだけど、最初のはROCの観点から見るとイマイチ、二つ目は結構良くて、クリックベイトや男女の戦い、そして不思議なことに車に関するものを好むんだ。でも、35って平均スコアが最初は信じられなかった。だって、中央値のHN投稿は投票がゼロだし、前に見たときは平均が8くらいだったから。彼は何をサンプリングしてるんだろう？ [1] コメント/投票 = 0.5は平均に近いね。
└
こんにちは、コメントありがとう！サンプリングは過去35日間のすべての投稿/コメントからで、APIを通じてアクセスしたよ（https://github.com/philippdubach/hn-archiver）。高評価の投稿が優先的にサンプリングされる可能性があるから（つまり、ボリュームが多い投稿やコメントはゼロのアップボートだとデータベースに入らない）、そのせいで高い比率になってるのかもしれないね。論文を発表する前に、必ず調べてみるよ。これがまさに事前印刷を公開する際に期待していたフィードバックだから、指摘してくれてありがとう！言及された分類器も見てみたいな。時間があれば、ページのメールかブルースカイで連絡してね。
└
>「最もアップボートされる可能性が高い」ための「リチャード・ストールマンは死んでいる」というのが最適なタイトル これめっちゃ面白いね。「フランシスコ・フランコ将軍はまだ死んでいる」という有名な新聞の見出しを思い出すよ。もちろん、この記事を書いてる時点ではRMSはまだ生きてるし、最適な見出しは嘘なんだけどね。
文句を言うのは簡単だよね。文句を言っても、誰かが別の視点をコメントしてくれることがあって、それは必ずしも叱責として受け取られるわけじゃない。でも、ポジティブなことを投稿してコメントで叩かれるのは、ちょっと落ち込むよね。だから、ポジティブな投稿のハードルが高く感じるんだ。
└
>ほとんどのHNのネガティブさは、有害というよりも実質的だ。これはOPの投稿でも触れられている。私がHNで出会う「ネガティブさ」の大半は、批判や有害さではなく、技術的な批評なんだ。HNはおそらく最も有害でないコミュニティの一つだと思う。
└
最近気づき始めたもう一つの問題は、レディットでアカウントが曖昧なポジティブコメントを投稿してカラムを稼いだり、アカウントをリアルに見せたり、同じアカウントからの他のAI投稿をカバーしたりすること。記事にもっとポジティブなコメントが増える世界が見たいけど、投稿のポジティブさが弱い（でも増えている）スパム指標になりつつあるよね！
└
ナット・フリードマンが「悲観主義者は賢く聞こえ、楽観主義者はお金を稼ぐ」と言ったと思う。皮肉やネガティブな見解を持つ方が、アイデアをどうやって実現するかを考えるよりもずっと簡単だよね。それに、ネガティブな人は賢いと見なされることが多い！ https://www.sciencedirect.com/science/article/abs/pii/002210...
└
あなたはただの苦情を言っただけで、それは事実だよね。「苦情は悪い、わかった？」という文脈で、これについてどう感じてる？
コメントでも同じことを見たことがあるよ（ネガティブな感情や短いコメント）。短くて皮肉なネガティブコメント [0] は、理論的で長いコメントよりもずっと良い反応を得ることが多い。HNではカラムなんて関係ないけど、頑張って書いた長いコメントが無視されて、短くてキレのあるコメントがたくさんアップボートされるのを見ると、がっかりするよ。質問した元の人から返事すらもらえなかった詳細なコメントに1時間以上かけたこともあるし、考えなしにサッと書いたコメントが「バズる」こともある。良いコンテンツが必ずしも評価されないのはフラストレーションだよね。[0] これは自分もやっちゃってることだな。
└
長いコンテンツが必ずしも良いわけじゃない。簡潔さには意味があるんだ。誰でも2000語でポイントを伝えることはできるけど、同じポイントを20語で伝えて同じインパクトを持たせるには、文章力と編集スキルが必要なんだよね。
└
一般的にソーシャルメディアに対しても同じように感じてるよ。リソースを管理することが大事なんだ。この場合は時間だね。ここで試していることの一つは、誰かが同じくらい長いかそれ以上のコメントを書いてくれるような、小さなコメントを書くことなんだ。もしその暗黙の招待を受け入れてくれたら、もっと長い会話ができる。そこそこ成功してるよ。
└
>「より良いコンテンツが常に評価されるわけではないのがもどかしい」 そうだね。もしかしたら、努力してもより良いコンテンツを作れないだけかもしれないし。フラストレーションは、エンゲージメントの欠如から来てるのかも。努力が誰にも気づかれずに消えてしまったり… でも、注目されることがコンテンツの良さを評価する基準の一つかもしれないね。自分が良いと思うコンテンツを作らずに、パフォーマンスが良くなることもあるし。より良いものを評価してくれるオーディエンスを引きつけることもね。こっちは見えてるのに、向こうは見えてない。ブログやってる？楽しそうだね。
└
指摘してくれてありがとう。もっとアップボートするように自分の行動を見直してる。HNでは、サイレントアップボートは同意のためのものっていうのが望ましい行動なのかな？（実質的に議論に貢献しないポジティブなコメントの代わりに？）
└
確かに同じことに気づいたよ。ここに2つのアカウントがあって、一つはメイン用、もう一つはたまに使う使い捨てアカウント。後者は今のところ、コメントあたりのカルマ比が約4倍だよ。面白いことに、これは特定のコメントが「バズる」ことが多いからで、通常は0アップボートか100以上だね。中央値は実際にはもっと低いと思うけど、平均はかなり高い。
└
HNで104872カルマ持ってるよ。https://news.ycombinator.com/leaders と https://news.ycombinator.com/bestcomments が面白いかもしれない。ただ、自分のコメントをランキングで簡単にソートする方法はなさそうだね。いつか自分のコメントをスクレイピングして、アップボートされやすいコメントの「HNのルール」を書いてみたいな。一つは、HNはジョークが好きじゃないってこと。説明をコメントに入れないとね。
レディットがAPIアクセスを許可していた頃、サブレディットをブロックできるリーダー（rif）を使ってたんだ。実験として、/r/allをブラウズして、毒性のある、グロテスクな、NSFWな、またはネガティブな感情を煽るコンテンツを持つサブレディットをブロックしてた。数年後、数百の禁止されたサブレディットのおかげで、私の/r/allはとても健全になったけど、動物やニッチな趣味に関するサブレディットだけになった。レディットがどれだけネガティブかを知るのは目から鱗だったし、アルゴリズム的な反応を求めるコンテンツがないとどれだけ退屈かも明らかになった。つまり、HNのコンテンツの35%がポジティブ（または中立？）だとしたら、レディットやほとんどのメインストリームのソーシャルメディアと比べて、実際にはとてもポジティブなんだ！ 編集：興味がある人のためにブロックしたサブレディットのリストを見つけたよ：https://hlnet.neocities.org/RIF_filters_categorized.txt ただし、当時興味がなかったアニメなども含まれていて、API禁止までのサブレディットしかないからね。
└
ほとんどのアイデアは悪いから、ネガティブな意見が一般的になるのも仕方ないのかな？メタスティールマンへ：悪い意見をスティールマンすると、そのネガティブさがさらに価値を持つようになるよね。
└
個人的には「アフターダーク」スタイルのredditがあまり好きじゃないってことに気づいたよ。でも、一般的には政治的な話は無視して、クラフトや趣味のコンテンツ、メディア（タブロイドスタイルじゃないやつ）など、コメントがないものに集中しようとしてる。reddit（またはソーシャルメディア）は本当に玉石混交だね。
└
最近、手作業で似たようなプロセスを経て、同じ結果を見つけたよ。ネガティブな雰囲気をブロックした後、私の「サブ」は意図的に「ホールスム」なサブ、つまり動物や良いニュースなどだけだった。 > アルゴリズム的な反応を求めるコンテンツがないと、どれだけ退屈かも明らかになった。これも見つけたけど、redditの使用を減らすのが目的なら、これは良いことだと思った！とはいえ、議論に参加するためには少しのネガティブさが必要かもしれないね。そうじゃないと、完全にオプトアウトしてるだけだし。
└
物議を醸すコンテンツは、ポジティブなものよりも多く議論されるのはよく知られた現象だよね。友達とのおしゃべりから、オンラインでの政治の話まで、何でもそう。いつも同じ例を持ち出すけど、もしあなたの親友がパートナーとトラブルを抱えていたら、何時間もその話を聞くことになる。でも、うまくいってるときは、何も言わないし、あなたもあまり付け加えることがないよね。
└
同じ経験したことあるよ、rif/resやXでも。アルゴリズム重視のサイトに、自分の興味のある分野に合わせて積極的にカスタマイズしようとすると、結構うまくいくよ。サブレディットやトピック、投稿者を一クリックでブロックすることで、アルゴリズムに強いフィードバックを送れるし、調整してくれる。正直、他の使い方があるのか全然わからない。YouTubeではフィルターやブロッカーを設定して、動画のおすすめが全く来ないようにしてるし、検索クエリを入れたり、意図的に登録してるチャンネルから通知が来ない限り、クリックする動画も見えない。Facebookは修復不可能なほど壊れてるけどね。友達でもないし、グループのメンバーでもないのに、ランダムなグループや人の投稿をフィードから削除できなかったのを覚えてる。たまに、誰かが「フィルターなし」でredditやYouTubeを使ってるスクリーンショットを見ると、全然違って、スラップや煽りが溢れてる。いらない！ただ、君と意見が違うのは、ポジティブなコンテンツを退屈だとは思わないこと。ポジティブなことはワクワクするし、引き込まれるよ！ネガティブなコンテンツは、ほとんどの場合、無視したくなるけど、最近のスレッドみたいにカタルシスや面白いシナリオなら別だけどね。
└
関係ないけど、今でも毎日rif使ってるよ。Revancedを使ってapkをパッチすれば、元の開発者のキーではなく、自分のAPIキーを使えるよ。AIの台頭で、明らかにエンゲージメントベイトの投稿が溢れてるサブレディットをいくつかブロックしたんだ。「階段から押し倒されて犬を殺されたから配偶者を置いていくのは悪いことなのか？彼は超国家主義のテロ組織のメンバーで、スーパーでカートを戻さないし。友達や家族がSNSで色々な意見を言ってる。褒めてくれる人もいれば、間違ってるって言う人もいる。」アカウントはもちろん新しくて、トップコメントは似たようなベイト投稿にだけ反応するアカウントばかりだよ。サブレディットシミュレーターを思い出す、ボットがボットに話してるみたい。私の個人的な陰謀論は、redditがこのAIベイトのスラップを促進してるってこと。エンゲージメントを引き起こして、もっと広告を見せるために。ストーリーは、子供の頃に母と一緒に見てたソープオペラみたいだよ。
└
これって、Linuxについての質問をどうやって答えてもらうかの「トリック」に戻る気がする。基本的に、「LinuxでXをどうやってやるの？」って質問すると、誰も答えてくれない。でも、「Windowsの方がLinuxよりずっといい、だってLinuxじゃXすらできないから」って言ったら、1日も経たないうちに5つの方法が返ってくる。人を巻き込むのは、怒らせるのが一番だよね。
└
Redditのシニカルな絶望主義って、最初のカタルシスであなたをその悲惨な沼に引き込む感染症みたいなものだよ。そこから抜け出すような人生を送ってる人は、redditを離れて貢献しなくなるから、主に悲惨でシニカルな絶望主義者たちが集まって、お互いにどれだけひどい状況かを語り合ってる。大半は、底辺の仕事やエントリーレベルの仕事をしてるティーンエイジャーや大学生で、その無邪気さがまた特徴的。近づかない方がいいよ。
└
同じく、redditを完全に辞める決心をしたのは、r/allのページで98%以上のコンテンツをブロックしてることに気づいたから。こんなことしてる意味があるのか疑問に思ったよ。
└
45/65のバランスは、面白さの最適なバランスに感じる。ユーザーのプールがノイズで増えると、どんどん退屈な投稿にアップボートすることが期待されるからね。もしシステムが50/50に安定したら、コンテンツは平凡だけど無害な方向に向かうだろう。だから、HNは本当にソーシャルメディアより一歩上だね。
> ここで「ネガティブ」とは何を指すの？技術への批判、発表への懐疑、業界の慣行への不満、APIへのフラストレーション。ビジネスの発表に対する懐疑がネガティブにカウントされるなら、他にどんなことをその発表について話すことになるんだろう。例えば、OpenAIのマーケティング記事はすでにポジティブな面で過剰になってるし、それがどれだけ良いかについての関連するコメントは見当たらないよ。「わぁ、素晴らしい」って言うだけや、記事を言い換えるのも無意味だし、批判されるだけだよね。せいぜい、事実の説明や、ちょっと難しい部分の補足になるのかな？事前に公開されたPDFを読んだけど、このブログ記事から何を得るべきかはよく分からなかった。あ、もしかしてこのブログ記事の予言を実現してるのかな？追記：コメントが全くない状態でトップページに上がる記事は、人々がコンテンツを純粋に楽しんでいる例だと思うし、サイトが実際にうまく機能していると思うよ。
└
>「事前に公開されたPDFを読んだけど、このブログ記事から何を得るべきだったのかよくわからない。」 彼らがデータを報告して、良いか悪いかの結論を自分で導き出せるのは良いことだと思うよ。
└
> じゃあ、私はこのブログ記事の予言を実現してるってこと？そうだね。この投稿は「ネガティブさ」が批判的なものと有毒なものの2種類あるってことをうまく伝えてると思う。両者を一緒くたにするのは、ちょっと見落としだと思うな。
OPの分類には、結果に強く影響する2つの仮定があると思う：1. 疑念をネガティブと一緒にまとめること。2. 「中立」のカテゴリーを認めないこと。今書いてるコメントは批判的だけど、これって「ネガティブ」なの？そんなつもりは全然ないよ。OPがこれを作ったのはすごいことだし、データもきれいに提示されてるし、結論も明確に表現されてる。だからこそ、批判を構築できるんだ！今気づいたけど、私は通常、OPの質の高い仕事を褒めることで批判を和らげる必要を感じてないかも。もっとそうするべきかな？それとも、私がこの素材に関わってるってことは、興味を持ったってことなのかな。うーん。
└
疑念についてコメントしようと思ってたところ、追加してくれてありがとう。おそらく、全部一緒くたになってるんだろうね。批判的な目で物事を見るのは、HNのポジティブな特徴であってネガティブではない。それを評価するのは非常に微妙なことだけど、たぶん私たちにはその技術がないんだろうね。
└
> 今書いてるコメントは批判的だけど、「ネガティブ」ってこと？そんなつもりは全然ないよ。視点の問題だね。OPはネガティブな投稿だし、それに対して君はネガティブだ。だから、君はポジティブな投稿をしたことになる。
└
OPだよ :) 疑念がネガティブと一緒にされることについて：部分的には正しいね。SST-2のトレーニングタスクでは、批判的評価がネガティブな感情として扱われる。ここでの「ネガティブ」は、敵対的ではなく評価的または批判的な意味だってことを明確にしておくべきだね。HNの実質的な批評文化は、これらの指標ではネガティブとして登録されるけど、これは毒性ではなく技術的な議論の特徴だと言える。中立のカテゴリーについて：モデルは0から1までの連続スコアを出力するから、中立性は0.5の周りに存在する。おおよそ0.0と0.95でピークを持つ二峰性分布は、HNユーザーが強い評価的立場を取る傾向を反映してる。三クラスモデルは追加の視点を提供できるかもしれないし、これは今後の研究で探る価値があるね。それに、君のメタ観察も好きだよ。個人的には君のコメントは批判的で実質的、かつ興味深いと思う。感情の指標では「ネガティブ」だけど、機能的には高品質な議論だよ。データをこう読むのが正確だと思う：HNのネガティブさは、敵対的ではなく、関与を促進する建設的な批評なんだ。
> ここで「ネガティブ」とは何を指すの？技術への批判、発表に対する懐疑、業界の慣行への不満、APIへのフラストレーション。いつものことだね。技術的な批判は個人的な攻撃とは違って、HNのネガティブさは有意義であって、有毒ではないことに注意が必要だよ。大抵のことと同じで、細部に悪魔がいる。個人的な攻撃に陥らずに批判を表現する方法はたくさんある。シニシズムや批判の度合いが高すぎると、ほぼいつも最上位のメタコメントが「文句を言うことに文句を言う」っていうのも見かける。個人的には、誰かに歯に食べ物が挟まってるって教えてもらう方が、褒められるよりもいいな。
└
君が言ってることは、論文がもっと直接的に扱うべき区別だね。分類器は「このAPIデザインはXのせいで根本的に欠陥がある」と「この会社はひどい」の違いが分からない（以前の返信でも指摘した通り）。どちらもレビューやソーシャルメディアで訓練されたモデルにはネガティブとして登録される。君が言う通り、HNのモデレーションは敵対的なコンテンツをすぐに取り除くから（だから正直、他の選択肢よりこのプラットフォームが好きなんだ）、私たちが観察するネガティブさは主に実質的な批評であって、個人的な攻撃ではない。とはいえ、この発見があまり面白くなくなるかどうかには少し反論したいな。むしろ逆のように思える。HNの「ネガティブさ」が建設的な批評であり、この批評が27%高い関与と相関していることは、技術コミュニティがプロモーションの枠組みよりも批判的分析を重視していることを示してる。分類器の限界は確かにある（他の返信も見てね）、でも関与の相関は「ネガティブな感情」と呼ぶか「評価的批評」と呼ぶかに関わらず成り立つよ。用語を明確にするために制限事項のセクションを追加するつもりだ：「ネガティブな感情」とは、ここで使われる場合、SST-2で訓練されたモデルによって検出された評価的批評を意味し、個人的な攻撃や毒性のコメントではない。フィードバックありがとう！
エンジニアは問題を解決するために雇われるから、物事を分解して何が機能していて何が機能していないかを特定する傾向があるんだ。業界イベントでプロに私たちのエンジニアリングツールをデモする機会があったけど、彼らは私たちの価値提案を理解する前から腕を組んでブースに来てた。まったく同じツールをメイカースペースにデモしたら、来た人たちはみんなポジティブなエネルギーにあふれてた。要するに、空のグラスを半分空いてるか半分満ちてるかっていう体験の違いだね。
おもしろい！サイトの感情分析についてのHNの投稿で、トップコメントとスレッドが「redditはクソxd」ってだけなんだ。こういう新しくて刺激的な会話がここでされてるのが嬉しいよ。
反対意見を取ること、つまり通常は悲観的な立場を取ることには、何か魅力的で賢い感じがするよね。まるで自分だけが物事を本当に理解しているみたいな。