Puma Browserでスマートフォン上にLLMを動かす方法

スマートフォンで大規模言語モデルを動かすのは、かつては異例に聞こえました。今では日常のブラウジングに実用的です: 短いチャット、ページ要約、フォローアップの質問を、すべてのトークンをクラウドに送らずに行えます。

1. Pumaをインストール

iOS版PumaまたはAndroid版Pumaをダウンロードしてください。アプリを開き、問題ない範囲でストレージ/ネットワークの権限を許可します—ローカルモデルには初回ダウンロードが必要です。

2. ローカルモデルを選ぶ

Pumaで、Gemma、Qwen、またはMinistralなどのオンデバイスモデルを選びます。小さいモデルは古い端末でも応答が速く、大きいモデルはRAMとダウンロードの忍耐があるときに品質が上がります。

3. デバイスから出ずにチャット

ローカルな会話を始めましょう。ローカルモデルを使うと、プロンプトと返答はスマートフォン上に留まります—プライベートな下書き、旅行メモ、クラウドのチャット欄に貼り付けたくないものに便利です。

4. 今見ているページを要約

記事、ドキュメントページ、または長いスレッドを開きます。Pumaに要約や説明を依頼します。ローカルモードならそのワークフローはオンデバイスのまま。より強力なモデルが必要なら、同じブラウザからOpenAI、Anthropic、またはGemini APIに切り替えられます。

5. オフラインで使う（モデルのキャッシュ後）

モデルの重みがスマートフォン上にあれば、基本的なローカルチャットとページヘルプは接続なしでも動作できます—飛行機や不安定なネットワークで便利です。

オンデバイスでより良い結果を得るためのヒント

• 巨大な貼り付けよりも、明確で短いプロンプトを優先しましょう。
• 重いコーディングや長いリサーチにはクラウドモデルを使い、日常のプライベートな作業にはローカルを保ちましょう。
• 新しいオープンモデルが登場したらPumaを更新しましょう—ローカルのカタログはすぐに改善されます。

プライバシーの観点が気になりますか？ プライベートなローカルAIブラウザとしてのPumaを読んでください。分散サイトに興味がありますか？ ENS、IPFS、Unstoppable Domainsの閲覧をご覧ください。

— Pumaチーム