ハクソク

世界を動かす技術を、日本語で。

あなたのチャットボットと話させないでください

45日前原文(raymyers.org)

概要

  • AI生成文を人間同士のやりとりに無断で挿入することへの違和感
  • **「Don’t make me talk to your chatbot」**という原則の提案
  • コミュニケーションの本質は相互理解と意図の伝達
  • AI出力を使う際の最低限の編集や配慮の重要性
  • 日常的なテクニカルライティングにおける実践的アドバイス

AI生成文の無断挿入とその問題点

  • 人間同士の対話に、AI生成文が無断で現れることへの違和感
  • 「Don’t make me talk to your chatbot」（あなたのチャットボットと話させないで）の原則提案
  • 人間と話す理由は、その人独自の考えや信念を知るため
  • AIを使って思考を整理するのは構わないが、生のAI出力を貼り付けるだけでは伝わらない文脈
  • AI生成文が悪いのではなく、目的に合った伝達がなされていないことが問題
  • AI生成文は冗長で、意図が埋もれやすい傾向
  • 理解にかかる労力に対し、発信者の努力が感じられない場合の不満

AI生成文とコミュニケーションの非対称性

  • **AIによる「怠惰なコミュニケーション」**が、以前よりも長く、わかりにくくなりがち
  • 受け手の労力と発信者の労力の非対称性が拡大
  • 例外：AIを活用して推敲し、独立した良い文章に仕上げている場合は問題になりにくい
  • 現実問題として、多くのSNSやコミュニティがAI生成文の氾濫に直面
  • フラストレーションを理解することの重要性

最低限のキュレーションと編集のすすめ

  • **AI Slop（AIの粗雑な出力）**への唯一の許容できる対応は、**Anti-Slop（反粗雑）**の姿勢
  • 自分の言いたいことをまず考え、整理し、伝えるという基本
  • 明確な思考が明確な文章を生む
  • 不要な言葉を省く（Strunk and White『The Elements of Style』の原則）
  • AI出力をそのまま貼る場合でも、短くまとめる・重要なことを先に書くなどの編集で改善可能
  • 優先順位を意識した編集が、AI出力と人間の意図のギャップを埋める

Pull Request（PR）説明文の実例

  • コーディングエージェントによるPR説明文生成の増加
  • AI生成のPR説明は、変更点一覧としては有用だが、意図や動機が埋もれやすい
  • 人間による短い要約文を冒頭に添える運用例
    • 例：# Agent Summaryの前に、動機や意図、今後の方針を一言で記述
    • Draft状態でPRを作成し、Ready for Reviewにする際に編集
  • 最低限のキュレーションとして有効な社会的ツール
  • 完全な例外：AIを活用した上で十分に推敲された場合や、単純な依存関係のアップデートなど意図が明確な場合
  • 厳密な運用ルールは難しいが、配慮とベストエフォートが重要

まとめ（TLDR）

  • AI出力を貼り付ける前に、「これで他人に自分のチャットボットと話をさせていないか？」と自問
  • 少しの配慮がコミュニケーションの質を大きく向上
  • 読者への思いやりあるやりとりの推奨

Hackerたちの意見

関連: アジア系のアクセントとコールセンターの音が背景にあるAIのふりをした人間と話させないでくれ。チャットボットよりもさらに失礼だよ。
└
誰がこれをやったの？
非効率なコミュニケーションの問題は、LLMが進化するにつれて減っていくと思ってるし、人間同士のコミュニケーションの効率についてはちょっと理想主義的だな。チャットボットとやり取りさせられるのは、もっとシンプルな理由で嫌だと思う：それは失礼だから。相手の時間や注意を軽視してるし、手を抜かないと成功できない怠慢さを示してるし、人間同士のやり取りの価値を侮辱してる（効率に関係なく）。
└
電話の自動応答や1時間待ちのサポートが普通になった時点で、もうその船は出て行った気がする。理想的な状況ではないけど、問題を解決できるチャットボットがいるなら、誰とも話したくない人間を1時間待つよりは、チャットボットと話す方がいいよ。
└
問題は、人々がカスタマーサービスの担当者に非常に失礼だってこと。だから企業はCSRsを訓練するためにお金を使うけど、顧客からの虐待を受けて短期間で辞めることが多いんだ。自動応答システムも同じ理由で、担当者に繋がれないようになってる。
└
> 人間同士のコミュニケーションの効率について少し理想主義的だね。これを理想主義とは呼べるか分からないけど、コミュニケーションの効率も大事だけど、効果の方がもっと大事だってことが分かってきた気がする。チャットボットは重要な情報を正しく伝えるのがずっと信頼性が低い。メールを送るのがどれだけ簡単でも、メールの内容が間違ってたら意味がないよね。あなたの言う通り、単に失礼だよ。会話からチェックアウトして、チャットボットに代わりにやらせることで叱責されたケースをいくつか見たことがある。そういう会話は、効率や効果ではなく、敬意や誠意についてのものだった。
これが（カスタマーサポートの）チャットボットについての話だと思ってたけど、実際はそうじゃなかった。 「あなたの[カスタマーサポートの]チャットボットと話させないで」ってのは、「現金引き出しのためにATMに行かせないで」って感じ。もし、他の大陸にいる過労のカスタマーサポートエージェントと永遠に待たずに、素早く効果的に解決できるなら、そっちの方がいいよね！まあ、でもこの投稿はそれについてじゃなくて、AI生成のテキスト（ブログ投稿やPR要約）についてのものなんだよね。そこには同意するけど、議論にはいくつか穴がある。例えば：> 1. 何を言いたいか考えろ。 2. 言え。最初の考える部分が重要なんだよね。そうだね、何を言いたいか考えて、チャットボットに言わせることもできる。だから、二つ目の部分も大事だね。
人々は無料のサポートを求める。私がマイクロソフトで働いていたとき、人間のカスタマーサポートエージェントが電話に出るのに20ドル以上かかってた。それは製品の利益を超えてた。誰かが助けを求めて電話をかけるたびに、その売上の利益をまるごと失ってたんだ。最も多いサポートコールは、マニュアルや初期体験、チュートリアル文書、FAQページに説明されていることに関するものだった。実際に修正が必要なサポートの問題もあったけど、カスタマーサポートのコストが異常に高いから、初期体験を改善することに繋がった。でも、サポートコールがどれほど高いか人々は気づいてないんだ。編集: コストの一部を説明すると、これは人々が物理的なコールセンターで働いていた時代の話だから、まず物理的なオフィススペースにお金を払ってた。次に、訓練。各CSRは私たちの製品について訓練を受けなきゃいけなかった。それには時間がかかって、その訓練時間にもお金を払わなきゃいけなかった。サポート資料を作成して、新しいバージョンが出るたびにその資料を更新する必要もあった。これらすべてがサポートコストに組み込まれる。従業員が長く留まらない傾向があるから、たくさんの訓練にお金がかかる。コールセンターを運営するための他のコストも加えると、オフショアのコールセンターでも、1件あたりのコストは安くない。合理的な世界なら、サポートに電話する人の割合に基づいて製品の価格を$ xだけ上げるだけで済む（その数を見積もるのが難しいことは無視して）、でも現実はそうじゃない。価格の下方圧力はあらゆる側面からかかっていて、特にVCに支えられた競合他社は市場シェアを獲得するためにお金を燃やすことに抵抗がないし、他のFAANGの競合も市場シェアを獲得するためにお金を燃やすことに抵抗がない。結果、みんなサポートコストを削減しようとするんだ。今は多くの製品カテゴリでユーザーあたりの利益が低いから（AppleのiPhoneは例外だけど…）。
└
最後に使ったサポートチャットボットは、実際に結構良かった。必要な情報を集めて、フォローアップの詳細を聞いて、それを人間に回して処理してもらった。全然問題なかったよ。
└
AppleのiPhoneが高い理由の一つは、何か問題があったときに実際の人間のサポートを受けやすいからじゃない？ Microsoftで間違いを犯したことはないと思うけど、ローカライズされたスプレッドシートを見て、長期的な会社全体のスプレッドシートを完全に見逃す人を見たことがある。営業部門とサポート部門があまりにも離れているから、基本的に別々の方向で働いている二つの会社みたいになってる。Microsoftのカスタマーサポートは規模が大きすぎて、こういうことを測るには悪い場所かもしれないけど、ここら辺の銀行は電話サポートを外注しようとして、結局お客さんを失ったことがある。電話をかけたことがないお客さんでもね。とはいえ、顧客が自分で解決できることについてサポートを求めるのは、AIが一番活躍するところになると思う。AIの音声チャットがチャットボットを置き換えるくらい良くなったら、私たちはAIと話してることに気づかないかもしれないね。
└
Microsoftはサポートコストについて文句を言う権利がほとんどない会社だよ。悪いソフトウェアやサポートが必要なアップデートを出すのをやめれば、かなりの金額を節約できるはず。誰もMicrosoftにサポートを求めたくないんだよ。彼らは強制されてそうしてることが多い。こういうサポートは「無料」とは言えないよ。Microsoftが電話の向こう側の人と話すのにお金を取っていなくても、顧客はすでに時間や苦痛（時にはデータの損失）を支払ってるからね。
└
サポートに料金を取るのはどう？もしそれがあなたのミス（不良品やドキュメント不足）だったら、ユーザーが自分で解決できたことと違って、料金を返金して、迷惑に対する補償を提供するのもありだと思う。
└
> マニュアルや初期設定の体験、チュートリアルドキュメント、FAQページなどで説明されていることに関するサポートコールが最も多いんだ。兄がXBox Liveのテクニカルサポートで働いてたけど、彼曰く、受けたコールの80%はパスワードリセットの依頼だったんだって。ユーザーが簡単に自己解決できることなのにね。ログインフォームには「パスワードを忘れた」っていうオプションがあるのに、みんなサポートに電話して待たされて、サポートエージェントに身分証明をする方が楽だと思ってるみたい。サポートを通じてのパスワードリセットもそんなに簡単じゃないし、結局はユーザーが「パスワードを忘れた」をクリックするのと同じように、パスワードリセットのメールを送信するだけなんだよね。それに、電話の自動応答でも「パスワードを忘れたなら、リンクをクリックして」って言ってるのに。人と話したいっていう人がいるけど、テクニカルサポートにかかってくる人の大半は人間を必要としてないんだ。みんなが人と話せるようにするのは現実的じゃないよ。うちの叔父もXFinityのテクニカルサポートで働いてるけど、彼の受けるコールの半分はモデムやルーターの電源を切って再起動するだけで解決するんだ。そんなことを人に教えてもらう必要はないよね。
└
> 実際に修正が必要なサポートの問題はあったよ、もちろん。でも、顧客サポートのコストが異常に高いから、最初の使用体験を改善することに繋がったんだ。でも、サポートコールがどれだけ高くつくか、みんな気づいてないよね。同じことがISPの業界でも言える。利益率が低いISPは、1回のサポートコールで数ヶ月分の収益を失うこともあるんだ。
└
そのタイトルに対して、記事の1段落も読まずに全部書いたの？すごいね。この記事はサポートチャットボットについてじゃないよ。
└
誰かが製品にお金を払って、そのサポートを受けるなら、それは「無料のサポート」じゃないよ。それは有料のサポートだ。顧客が製品を売った会社がサポートすることで損失を出すのは、彼らのせいじゃないよね。
└
もし人間に助けを求めるために会社に連絡してるなら、それはマニュアルや初期設定の体験、チュートリアル文書、FAQページなどで解決策が見つからなかったからなんだ。大抵の場合、未解決の問題を報告するために電話してるんだけど、技術的な詳細も伝えられれば、彼らが原因をすぐに特定して修正できるのに…その情報が正しい人に届けばいいんだけどね。無限の時間や忍耐はないから、保留時間やチャットボット、一次サポートのスクリプトに阻まれると、諦めちゃう。確かに、私みたいな電話は少数派だけど、特に価値があると思うし、あなたが言ってるコストの分は十分に見合うと思う。もしかしたら、企業は技術スキルが平均以上の顧客を特定して、次回の電話でより良いサポートチャンネルに回すべきかもね。もしかしたら、シボリートが必要なのかも。最適な解決策が何かは分からないけど、今のようにみんなを非生産的な苦痛のフローチャートに押し込むより、もっと良いトリアージの方法があるはずだよ。
└
> 人々は無料のサポートを求める。 > 私がマイクロソフトで働いていたとき、最後に確認したときはWindowsは有料製品だったよ…最後に確認したときの一般的なニックネームは「マイクロスロップ」と「ウィンブロウズ」だった。もしかしたら、マイクロスロップが製品改善にもっと時間を使えば、サポートにかかるお金と時間が減るかもしれないね。ごめん、私には何兆ドルもある企業に対する共感はないよ。あなたが従業員としてフラストレーションを感じたのは残念だけど、私のメガコープに対する気持ちは全然違うから。まるで誰かが100ドル札で涙を拭いているのを見ているようだ。
「何を言いたいかを考える」ってのが大事だよね。ビジネスの場面では、LLMを誤解を増幅するものだと思うようになった。職場で誰かと話してると、相手が普通の言葉を専門用語みたいに使ってること、よくあるよね。「オンラインシステム」とか「プラットフォーム」とか。彼らには意味がはっきりしてるけど、他の人はその言葉が何を指してるのか分からなかったり、普通の定義に基づいて歪んだ理解を持ってたりする。LLMがなくても、会議の後にみんなが全然違う理解を持って帰ることがあるよね。私の経験では、こういう状況でLLMに必要なコンテキストを提供してる人は少ないと思う。あるいは、実際の知識がなくて、無知を補うためにLLMを使おうとしてる。LLMは自信満々に聞こえるように調整されてるから、専門用語の意味を知らないとは伝えないんだよね。代わりに、一般的な意味と他のコンテキストを組み合わせて何かを作り出す。これがコピー＆ペーストされて回ってしまうと、知らない人が間違った理解をすることになる。だから「誤解の増幅器」ってわけ。記事のポイントに戻ると、ちゃんと自分が何を伝えたいか考えれば解決できるんだけど、そうしなければそもそもLLMは必要ないよね。
└
それに、人やシステムが実際に関連する用語を知っていることも大事だよね。最近、Amazonのロボットとやり取りしてたんだけど、注文のアイテムを正しく特定した後に、短い用語を使って間違ったことを言ってきたんだ。分類器が出力したような言葉だけど、ユーザーが理解するのは完全にその人にかかってる。十分にスキルのあるユーザーには問題ないけど、そうじゃないユーザーもたくさんいるからね。
サポートがAIか人間かよりも、どんな助けを受けられるかの方が大事だと思う。私にとっての大きな問題は、「助け」というのが常に私が教育される必要があるという枠組みで語られることで、サービスの問題ではないってこと。特に技術的な顧客にとっては、プラットフォームのバグに注意を引こうとしても、どうやって助けるかの記事を貼り返されることが多い。
└
それに、適切に扱われなかった技術的な顧客のケースもある。昔、ISPがUsenetサーバーを変更して、それをドキュメントに載せなかったことを思い出す。ウェブサイトにも、テクニカルサポートにも載ってなかった。プロバイダーを変更したことを伝えるのに、1時間とサードレベルのサポート担当者が必要になるなんておかしいよ。最初の二つのレベルは、私が問題にしていたのがサードパーティのシステムではないことを理解できなかった。
└
> 「助けて」って言うのは、いつも自分が教育される必要があるってことだよね。多くのユーザーにとって、これはよくあることで、こういうフロントラインのAIサポートはそれをうまく処理できるし、ケースを早くライブサポートに回せるんだ。バッテリーなしで動かないデバイスの原因を探ってる4人の後ろに並ぶより、AIに問題を解決してもらってる間に自分の本当の問題を早く片付けた方がいいと思わない？
└
また、記事をクリックせずにタイトルに反応した人が現れたね。この記事はサポートチャットボットとは関係ないのに。
└
記事は全然これについてじゃなかったよ。顧客のことでも、AIカスタマーサービスのことでも、助けを求めることでもなかった。
書くことって、基本的には自分の脳から相手の脳に情報を移すことなんだよね。もし1000ビットの情報を移したいなら、300ビットだけをLLMに渡して残りの700ビットを埋めてもらうことはできない。だって、LLMはその700ビットが何か分からないから。もし700ビットを正しく推測できたとしても、それは真の情報じゃないし、実際には移したいのは300ビットだけなんだ。だったら、LLMに余計な700ビットを追加させるんじゃなくて、直接俺にそのビットを移してくれればいいのに。
AIのプルリクエストの説明が今のところ一番イライラすることなんだ。見たことがあるやつは冗長で、意味のないフワフワした言葉がいっぱい入ってる（「最適化された」「パフォーマンスが良い」って、何のために？どの点で？）、最終的な解決策に入らなかったCoTの詳細が漏れてたりする（「SQLiteの実装を削除した」って、どのSQLite実装？メインにはないのに…）、そして、なぜその作業が行われているのか、どんな代替案が考慮されたのかなどのコンテキストが全くないんだ。最初のコードレビューは、コードを見る前に説明について質問するために元の著者とやり取りするだけになっちゃった。最初は、俺がちょっと厳しくして、ジュニアたちが最初から正しくやるように学ぶだろうと思ったけど、結局は自分が嫌な思いをして疲れ果ててるだけみたい。
この投稿は、記事を読まなかったコメントの割合が最高記録かもしれないね。いつも高いとは思うけど、今のところ125件のコメントの中で、実際の記事に触れてるのは3、4件くらいだよ。
└
そうだね、タイトルと最初の数コメントを見て、カスタマーサポートを受けることや最初にチャットボットと話さなきゃいけないことについてだと思った。読まなかった人のために言うと、この記事は、無思考でLLMの出力をコピペすることが「あなたのチャットボットと話させること」に相当するって内容だよ。
100%同意。十分な人がこのことについて話せば、マナーも追いつくといいな。ちなみに、この記事を明らかに読んでない人のコメントの数はすごいね。