通信不要のローカルLLMを検証

株式会社ANGEWORKでは、Googleの軽量オープンモデル Gemma 4 E2B QAT を iPhone 16 Pro 上へ組み込み、通信を行わない完全オンデバイス推論の実験に成功しました。

今回の構成では、推論時のメモリ使用量は約 1.7GB。短い日本語での会話であれば十分実用的な応答が可能であることを確認しています。

現段階ではChatGPTのような自由会話よりも、

など、用途を限定したAIアシスタントとして高い実用性が期待できます。

ローカルLLMのメリット

クラウドAIとは異なり、ローカルLLMには次のような利点があります。

GoogleのGemmaシリーズも、モバイルやエッジデバイスでの活用を重要なユースケースとして提供されています。

現在弊社では、この技術を医療・製造業・受付システム・設備保守などへの組み込み技術として検証を進めています。

YouTubue動画

実際の動作はYoutTbueでご確認できます。
https://www.youtube.com/shorts/wJBeGl4Lbq4

NOTE技術ブログ
NOTEにて本件の技術的な内容を公開しております。

Xにも投稿しております

ANGEWORK技術ブログ「アンドロイドは電気アヒルの夢を見るか?」