ハクソク

世界を動かす技術を、日本語で。

EmbeddingGemma 2を音声認識モデルに変換しました

2026年10月13日原文(eg2.haku.sh)

概要

EmbeddingGemma 2 は本来埋め込みモデルですが、 音声認識 にも応用可能。 MacBook Air 上で1時間の音声を約13秒で文字起こし。 音声データは 完全にデバイス内 で処理され、 プライバシー を保護。 誤認識率は 約5% で、今後の改善も予定。 無料ダウンロード が可能で、 macOS 14+・Apple Silicon 対応。

EmbeddingGemma 2を使った音声認識モデルの概要

  • EmbeddingGemma 2 は、テキスト・画像・音声・動画を 共通空間 で扱う マルチモーダル埋め込みモデル
  • 本来の目的は埋め込みだが、 音声→テキスト変換（音声認識） にも応用
  • 音声エンコーダ はそのまま利用し、 小型リーダーモデル のみ追加学習
    • 約2時間、8×H100で英語音声データを学習
    • 本体モデル は音声認識用に訓練されていない
  • 音声を短いスライスに分割し、 約22.9万語の英単語 から最も近い語を選択し文字起こし
  • 句読点・大文字 は追加の小型モデルで補正

動作環境・ダウンロード

  • macOS 14+・Apple Silicon 搭載Macに対応
  • 無料でダウンロード可能 （初回起動時にモデル約715 MBをダウンロード）
  • Neural Engine 上で処理、 音声データは外部送信なし
  • 音声ファイルを直接ドラッグ＆ドロップ、またはRight Optionキーを押しながら話すことで任意アプリに入力可能

速度比較・ベンチマーク

  • Embedding Gemma Transcribe （Neural Engine利用、base M3 MacBook Air, 8GB）
    • 1時間の音声を約12.6秒 で文字起こし（288倍速）
  • IBM Granite Speech 5.0 Turbo （GPU利用、同環境）
    • 約25.7秒（150倍速）
  • NVIDIA Parakeet TDT 0.6B v3 （FluidAudio、M4 Pro/M5 Pro）
    • 156倍速～335倍速
  • Phonon-2, a Parakeet v3 fine-tune （FluidAudio、M5 Pro）
    • 480倍速
  • ※異なるハードウェア・音声データでの比較のため、あくまで目安

精度・今後の展望

  • 単語誤認識率：約5% （最先端モデルは2～3%）
  • リーダーモデルの追加学習 による精度向上が今後の課題
  • より優れたトレーニングで 誤認識率の低減 を目指す

利用方法・特徴

  • プライバシー重視 ：音声データは 完全にローカル処理
  • 簡単操作 ：ファイルのドロップ、またはショートカットキーで どのアプリにも音声入力
  • 無料提供、誰でも手軽に試用可能

今後の展開

  • リーダーモデルの再学習 による精度向上
  • 他言語対応 や 追加機能 の検討
  • コミュニティフィードバック を活かした継続的なアップデート

Hackerたちの意見

これがどういう仕組みか全然わからないんだけど、これって音声を200倍速で再生しないとこんなに早く文字起こしできないってこと？それとも別のアプローチがあるの？

└

デスクトップオーディオスタックを通して再生してるわけじゃなくて、音声ファイルからデコードした波形を使ってるんだよね。「自然な速度」に関しての制約はなくて、動画のトランスコーディングと同じで、計算能力に制限されてるだけ。

└

多分、かなりの並列処理があるんじゃないかな。音声を少し重なり合う部分に分けて、単語の間の遷移をしっかり捉えるようにしてると思う。重複しないようにするための比較的簡単な方法もあるはず。

└

トランスクリプション中は、実際には人間が聞くようにファイルを「再生」してるわけじゃないんだ。音声は、時間の経過に伴う物理的な音波の振幅を表すバイトのシーケンスとして保存されてる（録音デバイスはマイクがどれだけ振動しているかを測定して、その量を記録するんだ。これを毎秒何万回も繰り返す）。それにメタデータや圧縮が加えられて、他のソフトウェアがバイトを正しく解釈できるようになってる。これをオーディオプログラムに渡せば、スピーカーを使ってバイトを物理的な音波に戻すことができるけど、結局はバイトの塊だから、ファイルからバイトを読み取れるソフトウェアは、実際の録音の長さに関係なく、好きな速度で処理できる。だから、音波を表すバイトのファイルがあって、いろんな言語やコンテストで話している人たちの既存の録音（つまり、バイトのシーケンスとして表された音波）があって、それらの録音を対応する文字起こしと一緒にモデルに投入すれば、話している人の録音のパターンを特定して、音波のパターンを逆に見て特定のトークンと正しく関連付けるモデルが得られる。何も再生する必要はない。間やつっかえなども、音波のパターンとして特定できて、意味のある部分だけを識別するために処理できる。原理的には、何百時間もかけて波形をじっくり見つめることで、これを学ぶこともできるだろうし、これが信号分析者がやってることだ。波形を見てパターンを特定しようとする。AIはこの原理を利用して、普通のスピーチをテキストに変換してるんだ。

└

リアルタイムでメディアを生成するAIメディアジェネレーターに過ぎないね。

オープンソースなの？Apacheライセンスについて何か言ってるけど、GitHubのリンクが見つからないんだよね。

└

EmbeddingGemma 2はApache 2だってだけしか見当たらない。「EmbeddingGemma 2はGoogle DeepMindによって作られ、Apache 2.0の下でリリースされています。これは独立したプロジェクトで、Googleとは関係ありません。」

└

https://huggingface.co/google/embeddinggemma-2

└

ページにあるApache 2.0の言及は、Googleのベースモデルに関するもので、このアプリには関係ないよ。ページだけ見ると、アプリは無料だけど、ソースコードはオープンソースじゃないね。

Appleのデバイストランスクリプションモデルは、僕のもっと強力なコンピュータでの結果よりも約3倍遅いし、テストではエラー率も似たような感じ（かなり良い結果だと思ってる）。もし時間があれば、彼らのも試してみるつもり。Appleモデルをラップして簡単なベンチマークを提供するCLIのサンプルはこちら: https://github.com/llimllib/transcribe 追記: 彼らのモデルは提供してないみたいだし、アプリバンドルから掘り出す気にもならないから、これをテストするつもりはない。

└

Appleのは使う価値あるのかな？改善されたかもしれないけど、最初に音声メモを文字起こしするために使った時は、マジでひどかった（俺の経験では）。結局、whisper.cppに戻ったよ。

└

MacWhisperではAppleのモデルを選べるけど、同じファイルを文字起こしするのにこのソフトやMacWhisper/Parakeet3の約4倍の時間がかかった。

Hacker Newsで議論の続きを見る