ハクソク

世界を動かす技術を、日本語で。

10Gb/sイーサネット：自宅で動作させるために私が行ったこと

1日前原文(www.gilesthomas.com)

概要

  • 自宅のネットワークを2.5Gb/sから10Gb/sへ段階的にアップグレードした記録
  • 室内の構造化配線（RJ45）を活用しつつ、スイッチやルーターの選定・設置
  • 配線規格（CAT-5E/CAT-6/CAT-6A）による速度・熱の検証
  • 温度管理や監視のためのTelegraf/Grafanaの活用
  • 運用上の工夫や発生した課題（熱対策、機器選定）

10Gb/s家庭内ネットワーク構築記

  • 既存の2.5Gb/sネットワークから10Gb/sへのアップグレード計画
  • 室内の構造化配線（各部屋のRJ45、パッチパネル）を活用したネットワーク設計
  • WiFi主体運用ながら、有線バックボーンでPC群や外部接続を確保
  • 既存配線の規格がCAT-5E/CAT-6/CAT-6Aか不明のため、段階的な導入を選択
  • 最初のステップとして、書斎内ネットワークを10Gb/s化
    • メインPC（perry）とProxmoxクラスタ（旧mini-PC群）を中心に接続
    • MikroTik CRS305-1G-4S+INスイッチ＋10GBASE-Tアダプタ＋DACケーブルで構築
    • Proxmoxクラスタ側は2.5Gb/sスイッチ（TRENDnet TEG-S5061）を継続利用
    • 旧スイッチのSFP+ 10Gb/sアップリンク端子を活用し、10Gb/sバックボーンを実現
  • iperf3による転送速度テストで合計約4Gb/sを確認
  • 構造化配線経由の速度検証
    • Ubiquiti 10Gb Ethernetドングル＋ノートPC（laura）でiperf3テスト
    • perry→lauraで約10Gb/s、逆方向で約7Gb/s（USB接続によるCPUボトルネック判明）
    • 配線の距離や規格的にCAT-6/CAT-6Aの可能性が高いと推測
    • 熱問題（USBドングルやSFP+モジュールの高温化）が顕在化

10Gb/s対応機器の選定と設置

  • パッチパネル側はRJ45接続が前提のため、MikroTik CRS304-4XG-INを選択
  • ISP提供機器は10Gb/sポートが1つのみ
  • 信頼性重視で自前ルーター（Protectli VP2440、SFP+ x2, RJ45 2.5Gb/s x2）を導入
    • 熱問題をメーカーに問い合わせ、技術担当から「問題なし」の回答を得て導入決定
    • 新ルーター（reggie）をArch Linuxでセットアップし、問題なく稼働
  • ネットワーク構成
    • ISP→reggie（WAN）→reggie（LAN）→壁→パッチパネル→nelly（スイッチ）→書斎
    • nigel（書斎のMikroTik）→perry（ワークステーション）、Proxmoxクラスタ
  • WiFi AP（winona, Ubiquiti U6 Enterprise）を一時的に書斎へ移動後、再びルーター隣に戻す
    • 追加でMikroTik CRS304-4XG-IN（norman）を導入し、APや壁配線へ分岐
    • ルーター・スイッチ・APを換気のないサイドボード内に設置し、熱対策が課題に

温度監視と熱対策

  • 全機器にTelegrafを導入し、CPUやSFP+モジュール温度、ネットワーク使用量等を監視
  • データはInfluxDB（Proxmox VM上のvarro）に集約し、Grafanaで可視化
  • Protectliルーター（reggie）のSFP+モジュール温度は高めだが、ケースがヒートシンクとして機能
  • MikroTikスイッチ（norman）は内部温度70℃を超えるケースもあり、改善の余地
  • サイドボード内の換気不足、AP（winona）の発熱が影響
    • APの移動やUSBファン導入による冷却を検討
  • パッチパネル側スイッチ（nelly）は発熱が少なく、十分な余裕
  • 書斎側のスイッチ（nigel）も別途監視対象

運用上の工夫・課題

  • 熱対策の重要性（特に10Gb/s SFP+モジュールや高密度設置時）
  • メーカーへの事前確認や、30日返金保証などリスクヘッジ
  • 監視環境（Telegraf/InfluxDB/Grafana）によるトラブル早期発見体制
  • 配線規格が不明でも、段階的な導入と実測でリスクを回避
  • 今後の課題として、夏場の温度上昇や冷却強化の必要性

Hackerたちの意見

それはかなりすごいね。うちは1.5/900のファイバーが来てて、モデムから自宅のオフィスに2.5のラインを引いてる。そこから2.5のスイッチで作業用のPCやノートPC、unraid NASに繋いでるんだけど、これらのデバイスは全部ギガビットイーサネットだと思う。理論上の1.5の帯域幅があっても、実際にそれを活かせるダウンロード（トレントでも）にはまだ出会ってないな。
└
10Gbpsの帯域幅があれば、500本の同時Netflixストリーム（4K/UHDで15Mbps）と500本の同時ビデオ通話（4Mbps）が可能だよ。家庭ユーザーはインターネット体験を向上させるためにもっと帯域幅が必要なわけじゃなくて、低遅延、混雑の少なさ、パケットロスの少なさが必要なんだ。 https://help.netflix.com/en/node/306 https://learn.microsoft.com/en-us/microsoftteams/prepare-net...
└
そうだね、500Mb/sにお金を払ったのは愚かだったけど、イギリスで200Mb/sを超えるのはSteamのダウンロード（とスピードテスト）だけだよ。他のはだいたいそのくらいで制限されてる感じ。
└
俺は5Gbpsの回線でファイルを引っ張るとき、普通に4.7Gbps出るよ（usenetは大体torrentより速いけど、torrentもトレントやクライアントソフトの良さによっては同じくらい速い）。4KのBlu-rayリマックス品質の映画シリーズを5分で一気にダウンロードできるのは最高だね。事前に計画する必要もないし。
└
俺はブルックリンにいるけど、ファイバーが選べるアパートに住んだことがないんだ。Spectrumに月90ドル払って「400/20」って言われてるけど、実際は100/10しか出てない。
運が良かったのかもしれないけど、10GbpsのスイッチとPCIeカードを接続した家とオフィスでは、特に問題なく動いてる。オフィスは特に驚きだったよ。NASがあるユーティリティクローゼットとデスクエリアの間には、少なくとも20メートル（もっとかも）ある未知の配線と、少なくとも1つの未知のパッチパネルがあるからね。ケーブルは15年前に引かれたものだから、Cat 5だと思ってたけど、全然違った。10Gbpsで大きなファイルをネットワーク越しに移動・ストリーミングするのは気持ちいいね。ギガビットの時よりも待ち時間が10分の1だし。もちろん、普段は小さいファイルが多いから、NASの回転ディスクアレイはこの巨大な帯域幅を使い切ることはないし、普通のギガビット接続でも同じことだね。
└
2005年か2006年に家の配線をカスタムでやってた時、将来を見越すならCat-6eがベストだってはっきりしてたから、1000-BaseTしか使わないのにそれを買ったんだ。ケーブル自体の価格が高かった記憶はないな。
└
> ケーブルは15年前に引かれたものだから、Cat 5だと思ってたけど、Cat 5eは25年前にCat 5を置き換えたんだよね。
└
同じだね。家の一端からもう一端までCAT6を引いたんだ。俺のホームオフィスがルーターに入ってくる光ファイバーの反対側の隅にあるから。これを引いて、手動で全てを圧着したら、初めて電源を入れた時から普通に動いた。すごく良い気分だったよ。
└
> ケーブルは15年前に引かれたから、Cat 5だと思ってたけど、明らかに違ったね。ジャケットは確認した？俺はCat5（eなし）って書いてあるケーブルで10gbaseTを使ってるよ。多くのケーブルはジャケットの規格を超えてるし、指定されたワイヤーは密な配管の中でその長さに対して十分な信号対雑音比を提供するんだ。短い距離で、密な配線がなければ、劣ったケーブルでも使えることがあるよ。
10Gbpsの銅イーサネットにアップグレードしてすごく満足してる。思ったより高かったけど、たまにしかフルに使わなくてもその価値はあるよ。今は、初めてのTime MachineバックアップやM.2 SSD NASへのファイル転送で10Gbpsをフルに使えるから、待ち時間が減って見るのも楽しい。もう10Gbpsが普通じゃないのが信じられないし、テクノロジーに詳しい人たちがWiFiが1Gbpsイーサネットに匹敵するかそれ以上だと思ってるのが不思議。僕のMBPはWiFi7（Ubiquiti E7）に接続して1.5-1.9Gbpsの nominal で繋がってるけど、Time Machineのバックアップやファイル転送は1Gbpsイーサネットに繋いだ方が速い。おそらく遅延や再送のせいだろうね。イーサネットはほぼ100%の信頼性で、速度の変動やエラー率も劇的に少ないのに。
└
いや、正直言って、1ギガ以上必要な人がいるのが信じられない。俺の職場は1ギガの光回線があって、何百人もの従業員を支えてるけど、使用率は大体10%以下だよ。10ギガの高額な理由の一つは、あまり必要とされてないからで、それを買う人は余分なお金を払う覚悟があるってことだね。
└
Time Machineがネットワークで動くのが信じられない。ずっと「初回バックアップ」を繰り返してるの？それとも、Time Machineが一週間も落ちずに動くっていう非常に珍しい状態を達成したの？ごめん、これはちょっと皮肉っぽくて話がそれてるけど、Time Machineが「普通に動いてた」時代が懐かしい。
└
> 思ってたよりずっと高かった 10Gの銅ケーブルなら、短い距離はほとんど何でも大丈夫（10m）、長い距離でもCat-5eケーブルで大丈夫（20 - 30mくらい）。だから、既存の配線があるなら、特に壁の中にあるなら、まずは試してみてから、全部取り替える前にやってみて。ほとんどの10gイーサネットアダプターはBERの統計を提供して、エラー率を確認できるよ。そして、問題があれば、マルチギガが選択肢になるかも。これなら5または2.5 gbpsに落ちるけど、10Gと同じで、低いSNRを処理するためのシンボルテーブルが減るんだ。
└
> 10gbitが今や普通じゃないのが信じられない 10Gは1Gからのステップアップが大きすぎた。費用と必要な電力が魅力的じゃなかったんだ。最近になって、ツイストペアでの10Gのインターフェースが合理的に低い電力になってきた。2.5Gや5Gはずっと良い状態にある。ほとんどの人には、デフォルトとしてここから始めることをお勧めするよ。
└
>今や10ギガビットが普通じゃないのが信じられないし、もっと知ってるはずの技術者たちがWiFiが1ギガビットのイーサネットに匹敵するか、それを超えてると思ってるのも驚きだ。ここで2つのことがある。上のスレッドでは、過熱で常に電源が切れる古い10GBEモジュールについての話があった。それが多くの人にとって嫌な思い出になってる。俺の家庭内ネットワークには、10GBEが必要なものは何もない。もし必要なら、光ファイバーを使うよ。無線は大体の用途には問題ないけど、一部のHDストリーミングにはちょっと難があるし、普通の1ギガもそこで問題なく動いてる。
└
> 10ギガビットが今や普通じゃないのが信じられない。正直、そんなに必要ないんだよね。ISPの選択肢も1200Mbpsが上限だし、確かにそれもあるけど、家の中でそんな速さは必要ないし。ストリーミング動画はせいぜい20Mbpsあれば十分だし、大きなファイル転送もあんまりしないからね。大きなファイル転送をするときは、だいたいインターネットからのやり取りだし、家のネットワークがボトルネックになることはないよ。
└
ネットワーク越しにTime Machineを安定して動かすのは大変だよ。古いApple製のAirportでも、内蔵TMが年に2回止まったりしてた。でも、複数のMacではUSB-CのノートPC用SSDをTime Machine用に接続してて、何年も問題なく動いてるよ。最近のノートPC用SSDは大容量だし、特に高性能なものは必要ないから、かなり安く手に入るよ。
└
WiFiで安定した1ギガのスループットは確実に得られるよ。WiFi 7/6Eじゃなくても、6で可能だし。そんなWiFiブリッジを何年も使ってたけど、パケットロスもなく、安定したギガスループットで、遅延も+1msくらいだった。注意点は、両端のラジオが良くないとダメってこと。ルーター同士のブリッジの方が、ルーターとエンドユーザーのデバイス間よりも上手くいく傾向があるよ。あと、ほぼ見通しの良い状態だったから、かなり助けになったと思う。
残念ながら、そのブログは使っているSFP+モジュールへのリンクを貼ってなかったけど、実際には10GbpsのSFP+からイーサネット^H10BASE-Tモジュールには2つの異なる世代があることを知っておくべきだよ。古い世代は30メートルと表示されていて、約3Wを消費し、非常に熱くなる（リンクが切れることが多いくらい）。新しい世代は通常100mまたは80mと表示されていて、約1.5Wを消費し、ずっとずっと涼しく動作する。新しい世代の例: https://www.amazon.com/Wiitek-Transceiver-Compatible-UF-RJ45... 古い世代: https://www.amazon.com/10Gtek-SFP-10G-T-S-Compatible-10GBase... 通常、古い世代はMarvell AQR113Cを使用していて、新しい世代はBroadcomのチップを使ってるけど、その番号はうろ覚えだな。
└
すごい、ほぼ同じ値段で！
└
ありがとう！10Gbイーサはまさにこの理由でヤバい（光ファイバーのSFP+モジュールはずっと安くて信頼性も高い）。
└
古い世代のUnifi SFP+からRJ45の10Gbeでこの問題があったな、3つが失敗した。外すのに手袋が必要だった。新しい世代のを買ったら、温かいけど手袋はいらなかった。
└
BCM84891L。これらのモジュールが好きだな（ドロップダウンで80または100mを選択）： https://www.luleey.com/product/10gbase-t-sfp-to-rj45-copper-... このモジュールを使ったら、75フィートの長さの20年前のCat 5eで安定した10ギガが取れたよ。
└
もし古い安いのを買いたいなら、熱が気になるならUSBファンを追加すればいいよ。俺も同じmikrotikスイッチを使ってるけど、2つのSFPからRJ45に加えて、このファンを上に置いてる：https://www.amazon.com/dp/B00G059G86?th=1 それで温度が劇的に変わるよ。
└
これはSFP+から10GBASE-Tをやろうとしている人にとって最も重要なことだ。この記事では触れられていなかったのが残念だ。新しいモジュールの熱性能はすごく良くて、一度使ったら古いモジュールを全部捨てたくなるくらいだよ。古いのはたくさんの電力を消費して、たくさんの熱を出してた。あまりにもひどいから、アクティブクーリングを追加して吹きかける人もいるくらい。新しいのは素晴らしいよ。温かくなるけど、全然管理可能。電力消費も、デバイスのSFP+ポートが多分設計された範囲に近いから、互換性も良いんだ。
└
俺は以前、光ファイバーを使わない会社をサポートしてたんだけど、そこは古い10GBEモジュールでイーサネットを使いまくってた。リンクの半分は、ハードウェアが冷却のために電源を切るせいで、常にフラッピングしてたんだ。新しいモジュールでも、イーサネットケーブルの長さは10GBEが扱える範囲を超えてた。140メートルくらいのケーブルなんて、常に再交渉してたのを覚えてる。一番ひどいのは、ネットワーク内に光ファイバーをサポートしてない要素が一つもなかったこと。無線のための光ファイバーSFPモジュールは、銅と同じ値段だったし。10GBEモジュールが存在するのは嬉しいけど、できれば（お願いだから）光ファイバーを使ってほしい。
└
fs.comのおすすめはある？（それとも、パワーナンバーを見ればいいのかな？） https://www.fs.com/c/10g-sfp-63?203=21772
└
AQCチップは、古いスイッチの1/10ポートでも動くよ。そして、そんなに熱くない、1x1x0.5cmのヒートシンクで十分。大きな問題は、mikrotikのSFP+の熱設計が冗談みたいだってこと。
同じことをしようとしている人に注意してほしいのは、Portectliみたいなソフトウェアルーター/fwを使うと、通常は大きなフローで生の帯域幅を良く見せるのは簡単だけど、新しい接続のレイテンシ、1秒あたりの接続数、ジッター、QoSの扱いがハードオフロードのあるものに比べて劣ることが多いってこと。10GクラスのNAT/L4 FW帯域幅を得るのに一番安い方法ではないけど、性能をあまり気にしないなら「フル」FW機能を得るには一番安い方法だよ。もし10G双方向でFW+NATを実際にこなせるフルFWソリューションが欲しいなら、FortiGate 90Gみたいなのが、全体的にすごく良いパフォーマンスを発揮する中で見つけた一番安いものだよ。素晴らしいQoS、素晴らしいレイテンシ、驚異的なスループット性能（小さいパケットサイズでもシングルストリームでうまくいく）、使いやすいUI（慣れれば）で、低消費電力。NGFWの機能（例えばAVやIPS）を全部有効にしたいなら、ラインレートを下回るけどね。普通の家庭用ルーターみたいにNATや接続方向のフィルタリングができるものが欲しいなら、MikroTik CCR2004がVP2440よりも良いパフォーマンスを出して、10G SFP+のポートを12個使えるよ。普通の家庭用NAT FW（そこそこ管理されたスイッチングが内蔵されてる）を超える「ファンシー」なFW機能を計画してたら、機能セットはちょっと制限されるけどね。
> 最も重要な質問は、壁の中の構造化配線がCAT-5EなのかCAT-6、あるいはCAT-6Aなのかってことだった。前回の投稿を思い出してほしいけど、10GBASE-Tは短い距離の-5Eで動くかもしれない（公式にはそういうふうには設計されてないけど）。これはちょっと違う。主な問題はクロストークだ。銅線自体は100mまで問題なく関連する周波数を運ぶけど、バランスの取れたペアでもバランスが完璧じゃなくて、「汚れた紙の前処理」も完璧じゃないから、クロストークが発生するんだ。Cat-5eでどれだけの距離を行けるかは、ワイヤーのツイストの具合、束ねられたワイヤーの数、ループや急な曲がりがあるかどうか、他の要因による。Cat-6Aは、より多くのツイストでクロストークを減らし、バランスを良くし、ケーブル内部にプラスチックのセパレーターを設けてクロストークをより規則的にして、キャンセルしやすくしている。要するに、ほとんどの普通の家やアパートでは、適切に終端された質の良いCat-5eケーブルが10GBase-Tを問題なく運ぶことができる。実際、問題があれば新しいケーブルを引く前に、まずはケーブルを再終端することをお勧めする。Cat-6や6Aは必要ないよ。お知らせとして、「CCA」に気をつけて。アマゾンやeBayには、見た目はきれいな銅のケーブルがたくさんあるけど、実際は「銅被覆アルミ」なんだ。もし何か言及されていても、それは「CCA」ケーブルとしてコードされていて、意味が説明されてない。CCAケーブルは、定義上、イーサネットケーブルにはなれない。技術的な詳細には立ち入らないけど、基準が改正されて、イーサネットには純銅のワイヤーだけが受け入れられることが明確にされた。個人的には、CCAを何かに使うなんて絶対に無理だと思う。性能が低く、同じワイヤー直径に対して電流を運ぶ能力も低い（アルミの特性）、そして酸化や接続の緩みのリスクがある。人々は銅の接続だと思って扱うけど、アルミは特別な取り付け手順や接続が必要で、時間が経つにつれて緩んでしまう。特に電気接続では、適切なケアをしないと、時間が経つにつれて火災につながることがある。薄い銅の層を削り取るちょっとした機械的な動作で、実質的にアルミのワイヤーになってしまうから、まるで時限爆弾みたいだよ。
└
> Cat-6Aは、より多くのツイストでクロストークを減らし、より良いバランスを保ち、ケーブル内部にプラスチックのセパレーターを入れてクロストークをより規則的にして、キャンセルしやすくしている。これ、ちょっと違うよ。Cat6Aは周波数、つまり利用可能な有効帯域幅を保証しているけど、物理的なケーブルのタイプについては触れてないんだ。Cat6Aの一般的な構造化ケーブルはU/FTPで、プラスチックのセパレーターも外部シールドもないけど、各ペアはフォイルで包まれていて、実際にはCat5eよりもツイストが緩いんだ。誰でもU/FTPケーブルは買えるけど、実際にCat6Aとして使うには正しく設置して、Cat6Aの速度をサポートするように認証される必要があるよ。
俺はちょっと違う方法を取った。スイッチはアパート全体で10Gbps SFP+でつないでるけど、ちゃんとした壁内光ファイバーを引くのは遅すぎたし、面倒すぎた。だから、超薄型（約0.1mm）のシールドなし光ファイバーケーブルを使って、ドアの枠を通して壁にテープで貼り付けた。こんなものがあるなんて本当に感心してる、完成したスペースに光ファイバーを後付けするのがずっと楽になる。だけど、ほとんどのエッジデバイスはまだ2.5GbEで、普通のSATAディスクを使ってると、ドライブが本当のボトルネックだってことに気づいてきた。2×2.5GbEをLAGして5Gbpsのパイプを作ったら、ネットワークが遅い部分じゃなくなったことが多かった。そうそう、10GbE SFP+モジュールは熱くなるから、2秒以上触れたくないくらい。モジュールに銅製のヒートシンクを2つ付けたけど、あんまり効果があるかはわからない。でも、モジュールはスムーズに動いてる。全体的なセットアップには満足してるよ。10GbEを搭載したMacからは、複数のマシンを同時に満たせるし、ほとんどの時間ネットワークのことを考えなくて済むのが目標だったから。
└
10Gbpsを家で使えるようにしたら、ちょっと欲が出て、InfiniBandにも目を向けたんだ。40GbpsやちゃんとしたRDMAは、イーサネットと比べるとすごく魅力的だよ。でも、実際のところが問題で、IBはPCIeスロットと太くて硬いケーブルが必要なんだ。ほとんどの機器がノートPCやミニPC、Macだから、そういうのをきれいに配線したり、カードをどこにでも差し込むのは無理だなって思った。結局、このアパートでは「ドアフレンドリー」な細いSFP+ファイバーが勝ったよ。
こんなに手間をかけるなら、シングルモードの光ファイバーを引くことも真剣に考えてほしい。最初は計画が必要だけど、次のアップグレードサイクルのときに同じ光ファイバーを再利用して、両端のハードウェアを交換できるから。
└
穴を通すのもずっと小さいしね。
RJ45の銅ケーブルを1GbE以上で使う決定が理解できない。a) 小型コンピュータが好きで、これがRJ45ポートしかなくてPCIeスロットが0 b) 超硬いケーブルやポートのフラップ、熱いモジュールと戦うのが好き 俺は2018年に家をフル10Gbpsネットワークにアップグレードした。その時は、* 10Gbps SFP+ PCIe NIC（Mellanox CX3や似たようなカード）がすでに激安だった（OCP適合のものが15ドル、ネイティブPCIeカードが50ドル）データセンターがCX5にアップグレードしてたから * 10KM SM SFP+モジュールも激安だった（約6ドル）4G BBU-RRU通信で使われてたから * 静音の10Gbps SFP+スイッチが出始めた（まだちょっと高いけど）10Gbps RJ45スイッチはどこにもなかった その10KM SMモジュールは喜んで動くし、* 25G/100G SFP+ PCIe NICも激安（単ポート100G NICが約80ドル） * 100G QSFP28モジュールも許容範囲の価格だし、25G SM/CWDM SFP+モジュールもすでに激安（6スロットCWDMのものが約50ドル）5G BBU-RRU通信で使われてたから * 静音の100Gbpsスイッチも出始めた（24*25G + 4*100Gで100W未満；まだちょっと高いけど）100Gbps RJ45スイッチはどこにもなかった 俺はすでに2部屋の間に実験的な6*25G CWDM光ファイバー接続を持ってる。ほとんどのデバイスが10Gbps以上必要ないから、各部屋に1つの100Gポートを設けて、部屋内でパッシブ波長分割器で4レーンに分けることを考えてる。これでスイッチのコストもさらに抑えられる。
└
電力使用量は、非SFPポートを使う良い理由だよ。短い距離ならCAT5eで10Gbpsネットワークも使えるし。俺は家中でCAT5eを使って2.5Gbpsを問題なく運用してる（Steamのゲームをダウンロードするとき以外はそんなに帯域は必要ないし）。
どれだけ普及が遅かったか、興味深いよね。10GbEは2002年からで、もう24年も経ってる。IPv6よりもひどいよ、少なくともそっちは50%普及してるから。100GbEも15年前のものだけど、どの規格を考えるかによるね。（最も一般的な物理層、SR4は11年前のもの）ギガビットイーサネットは100Mの後にすぐ普及したのに。
└
1Gbpsは銅ケーブルとRJ45、家庭用工具で設置できるけど、10Gbpsは10ドルのクリンパーじゃ無理だよ。だから、家の中は1Gbpsで、アクセスポイントの隣の機器同士は10Gbpsにしてる。