世界を動かす技術を、日本語で。

エンテのローカルLLMアプリ

概要

  • LLM(大規模言語モデル) は大手テック企業だけに任せるべきではないという問題意識
  • Ensu はEnteが開発した、完全オフラインで動作するLLMアプリ
  • ローカルモデルの進化により、 プライバシーと利便性 を両立
  • 本記事では、背景・現状・今後の展望・参加方法を解説
  • オープンソースで多くのプラットフォームに対応

LLMは誰のものか

  • LLM(大規模言語モデル) は社会的に重要な技術
  • Big Tech(大手テック企業) だけが管理するリスク
    • プライバシー喪失
    • 任意の利用制限や記憶の非移植性
    • 集中的な人々の操作リスク
  • LLMが嫌いな人でも、その存在を無視できない現実
  • LLMが好きな人でも、 中央集権型サービス への高依存を実感
  • 技術の制御を一部企業に委ねる危険性

ローカルモデルの進化と課題

  • 現在、 最先端モデルローカルモデル の間には性能差
  • しかし、ローカルモデルは日々進化
  • 一定の閾値を超えれば、 十分な実用性完全なプライバシー を実現
  • Ente Photos開発時も「不可能」と言われたが、全てローカル処理を実現
  • 顔認識・人物クラスタリング・自然言語画像検索 を端末内で実装済み

Ensuの紹介

  • Ensu はChatGPT風のUIを持つ、完全オフライン動作のLLMアプリ
  • プライバシー重視・無料利用 が特徴
  • 近日中に Enteアカウント連携自己ホスティング によるE2EE(エンドツーエンド暗号化)同期機能も追加予定
  • 現時点では ChatGPTやClaude Code ほど高性能ではないが、十分楽しめるレベル
  • 主な使い方例
    • プライベートな思考整理
    • 書籍についての会話(GitaやBibleなどの古典知識)
    • オフライン環境(例:飛行機内)での対話
  • オープンソース として公開
  • iOS、Android、macOS、Linux、Windows に対応
  • コアロジックは Rust で実装
  • モバイル・デスクトップで共通ロジックを利用
  • 画像添付にも対応
  • E2EE同期・バックアップは既に実装済みだが、現時点では無効化

今後の展望

  • Ensu はあくまで「チェックポイント」、今後の方向性はユーザーの声で決定
  • 進化の方向性案
    • 第二の脳 :永続的なノートのようなUIで、LLMが提案や批評、リマインダーを提供
    • ユーティリティ特化 :Android Launcherのような既存インターフェースとの統合
    • パーソナルエージェント :ユーザーの選択やタスクを記憶し成長する長期記憶型LLM
  • 今後の方向性が同期機能に影響するため、 フィードバック収集後に同期機能を有効化
  • 今後、既存のローカルチャットも同期対象に

参加・フィードバック方法

  • ユーザーの意見を重視
  • 要望や意見は [email protected] までメール
  • Discord #ensuチャンネル での参加も歓迎
  • Ensuのダウンロード はこちらから可能

Ensu は「プライバシーと利便性を両立したLLM体験」を目指す、Enteによる新たな取り組み。今後の進化には、ユーザーの声が不可欠。

Hackerたちの意見

昨日、「どの2FA使ってる?」って話の中で初めてenteのことを聞いたんだ。AndroidとLinuxデスクトップでhttps://ente.com/auth/にすぐ切り替えたけど、すごく満足してる。これを試してみるつもりだよ。

すでに動作する2FAアプリを持ってたと思うけど、いきなり新しい未検証のバリアントXに切り替えようとしたの?午後に数段落のテキストを読んだだけで、基本的に未知の認証システムに?これって大丈夫そう?

うわ、これを投稿してくれてありがとう。最近写真用にEnteに切り替えたんだけど、2FAアプリもあるなんて知らなかった。Aegisの代わりを探してたんだけど(iOSに切り替えた後)、Aegisのバックアップファイルからもインポートできるんだ。いいね。これで2FAのためだけに持ってた古い電話をやっと手放せる :)

これ、広告っぽいね。

彼らの最終的な目標は、自分たちのリブランドしたローカルモデルの配布を通じてクレジットを収集することのように思える。これが唯一の「ビジネス」モデルだね。2FAアプリを使ってクレジットを直接収集するのは、ちょっとストレートすぎる気もするけど。

DebianでKeepassXC、モバイルでKeepass2Androidを使っててすごく満足してる。デバイス間でTOTPを扱えるのがいいね。今のところ、デバイス間でパスキーを作成・使用する方法がないのが残念。毎回新しいパスキーを作るのは無理だから、管理しているサーバーを通じて同期させる必要がある。これをサポートするシステムに移行するつもりだよ。

もし希望があれば、自分でサーバーをホスティングすることもできるよ!Ente Authをずっと使ってて、すごく満足してる。

もしかしたら見落としてるかもしれないけど、ページには技術的な情報があまり載ってないね。これは大きなLLMの量子化されたモデルなの?どれ?パラメータは何個?どんな量子化?期待できるT/sは?VRAMの要件は?などなど。

iPhone 13 miniで試してみたよ。モデルは電話のスペックによって変わると思う。私のは約1.3GBのモデルをダウンロードしたけど、完全な文を話せるだけで、それ以上はあまりできないね。まあ、あのモデルは小さいし、私のデバイスはこれ用に設計されてないから仕方ないけど。

ここで何を使ってるか見れるよ - https://github.com/ente-io/ente/blob/main/web/apps/ensu/src/... LFM2.5-1.6B-4bitかQwen3.5-2B-8bit、またはQwen3.5-4B-4bitのどれかだね。

同じ疑問があるよ。アプリをインストールしたら、2.5GBのデータをダウンロードするんだ。これがモデルだと思う。

地元のインファレンスアプリがたくさんあって、基本的には llama.cpp と他の誰かの GGUF をラップしてる感じだね。分散同期履歴の部分は新しいみたい?それ以外はあんまり。広告コピーがこのラッパーを製品として提示するのがすごくウザい。Ollama、LMStudio、LocalAI、Exo、Jan.AI、GPT4ALL、PocketPal との比較チャートがあればいいのに。

明らかにラッパーなものがたくさんあるよね。ここでの価値提案の一部は「製品っぽい」ってことなのかな。実際にそれを達成できてるかは分からないけど、サイトで証明できるとは思えない。

Ente Auth が大好きなんだけど、Ente(会社/組織)としては、非写真アプリをブランドやウェブサイトでうまくアピールできてない気がする。LLMチャットアプリのページの上にある「ダウンロード」ボタンを押すと…写真共有アプリがダウンロードされるし。サインアップをクリックすると、ブラウザのタイトルが「Ente Photos」になってるサインアップページに飛ぶけど、ページのテキストは「あなたの思い出のプライベートバックアップ」ってロックの画像がある。これって Ente Auth のサインアップなのか、Ente Photos アプリのサインアップなのか分からない。サイトをちょっと整理して「Ente、私たちのオリジナルの写真共有アプリ」を他のアプリと分けて表示すれば、すごく良くなると思う。ダウンロードを見つけるのが大変だったから、まるでウェブサイトで人気の Ente Auth アプリを探すみたいだった。

ブログの見せ方からして、これはユニークな問題を解決する新しいものだと思ってた。多分、デバイス用のローカルマルチモーダルアシスタントかなって。インストールしてみたけど、全然そんな感じじゃなかった。小さなローカル LLM モデルのラッパーに過ぎないし、マルチモーダルでもない!誰でも Claude で1時間でこれを一発で作れると思う(誇張じゃないよ)。ここでのターゲットオーディエンスは誰なんだろう?普通の人はプライバシーの価値提案なんて気にしないし(少なくともチャットモデルの質を大幅に犠牲にするほどでは)。その制御を求めるユーザーはすでに LMStudio/Llama.cpp をインストールできるし(設定も超簡単)。実際のリリース製品は「次は何?」のセクションに書かれてる内容であるべきだった。 > 一般的なチャットの代わりに、Ensu をもっと専門的なインターフェースにする。例えば、ずっと書き続ける一つのノートみたいな感じで、LLM が提案や批評、リマインダー、コンテキスト、代替案、視点、引用を提供する。あなたの第二の脳みたいな。 > より実用的なアプローチで、Android ランチャーみたいに、LLM が人々がすでに慣れ親しんでいるインタラクションの背後にある実装の詳細になる。 > あなたのエージェントが、あなたのスマホで動いてる。設定不要、管理不要、手動バックアップもなし。あなたと共に成長し、あなたを覚え、あなたの選択を管理し、長期記憶と個性を持つ LLM。

誰でも Claude で1時間でこれを一発で作れると思う(誇張じゃないよ)。これ、Sonnet でも一発でできたかも、Opus じゃなくても。LLM コーディングに過剰にインデックスされてるから、Haiku でもできるかもしれない。考えてみると、これは実際に面白いコーディングモデルのベンチマークタスクだね。

誰でも Claude で1時間でこれを一発で作れると思う。実際、彼らはやったと思う。ダウンロードを開始してからサイドバーを開いたりアプリをバックグラウンドにすると、ダウンロード進行バーが消えてダウンロードボタンに変わる。もう一度ダウンロードボタンを押すと、進行バーが正しいポイントで再表示される。Claude はこういう小さな状態のミスをよくする気がする。人間の開発者もそうだけど、人間の開発は遅くて反復的だから、そういうミスが見つかる可能性が高いんだよね。

これはプラットフォーム戦略だから、彼らの使われなくなった写真プラットフォームに人を引き込もうとしてるんだね。「ビッグテック」がちっちゃいスーツを着てる感じ。

技術に詳しくない人向けのローカルLLMオプションは、祝うべきことだと思う。いや、「誰でも」1時間でこれをCCで一発で作れるわけじゃないよ。技術に詳しくない人たちが自分のソフトウェアソリューションを作る波はまだ見てないし。

「分散 LLM」システムが見てみたいな。人々が「メガモデル」の推論やトレーニングの「一部」を簡単に設定できるシステム。SETI@home のオープン LLM 版みたいな感じ(https://github.com/evilsocket/cake の巨大版)。理想的には、ネットワークに「参加」すると、提供した GPU パワーに比例して「クレジット」をもらえるとか。もしできなければ、クレジットを購入する(支払いは他の参加者へのクレジットとして分配される)。そうすれば、本当にオープンで、どのネットワークにも属さない巨大な LLM を構築できる。これを作るのに参加したいな。

あ、あと「SkyNet」とか呼んでもいいかも。

https://docs.anarchai.org/ これ、最近投稿されたけど、ちょっとだけフロントページに載ったみたいだね。君が話してることに似てる気がする。

https://psyche.network/runs

これを見て興味はあったけど、低労力な感じがしてちょっと懐疑的な立場の人間として、AndroidやiOSで小さいモデルをローカルで動かすための他のオープンプロジェクトってある? https://github.com/alichherawalla/off-grid-mobile-ai を見つけたけど、まだこの分野では何も試してないんだ。

LLMをローカルで使えるユーザーフレンドリーなアプリのアイデアが好きだな。OllamaやLMStudioみたいなツールは、どのモデルを使うか自分で決めなきゃいけないし、設定も多すぎて大抵の人は敬遠しちゃう。使ってるハードウェアが対応してれば、EnsuはカジュアルなChatGPTユーザーにとって代替品になりそう。でも、例えば、スマホにダウンロードされた大きなLLMモデルが、パソコンよりも多かったのはちょっと混乱する。アプリがデバイスを5つの異なるティアに分類して、どのパフォーマンスティアに該当するかによって適切なモデルをダウンロードし、そのパフォーマンスティアをユーザーに知らせるのが一番理にかなってると思う。時間が経てば、各ティアのLLMをより良いものに定期的に置き換えたり、ハードウェアの進化に基づいてデバイスのパフォーマンスティアを再定義したりできるようになるだろうね。

Osaurusをローカルで使ってるよ。これはネイティブのSwift製macOSアプリで、サンドボックス、エージェントツール、サーバー機能がある。ただし、Mac専用だけどね。

人々は私たちを狂ってるって言った。まったく誰も彼らを狂ってるとは言わなかったね。

残念ながら、しっかりしたテストやデザインなしにClaude Codeが作ったものみたいだね。