Private LLM - ローカルAIチャットボット (総合 40516位)
価格 : 1,500円
App Store 評価 :
4.0 (評価数 : 2)
カテゴリー
ソーシャルネット (アプリケーション)
バージョン
1.9.2
App Store 更新日
2024/10/16
開発者
Numen Technologies Limited
対応機種
iPhone(iOS 17.0以降、およびA12 Bionicチップ以降を搭載したデバイス)、iPad(iPadOS 17.0以降、およびA12 Bionicチップ以降を搭載したデバイス)、Mac(macOS 14.0以降)、Apple Vision(visionOS 1.0以降、およびA12 Bionicチップ以降を搭載したデバイス)
対応言語
英語
サイズ
1.3GB
情報取得日
2024/11/25
(評価数)
10
-
-
-
-
5
-
-
-
-
0
評価数(左、棒グラフ)、総合順位(右、折れ線グラフ)
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
11/16
11/17
11/18
11/19
11/20
11/21
11/22
11/23
11/24
11/25
(順位)
40.4K
-
-
-
-
40.5K
-
-
-
-
40.6K
※画像をクリックすると拡大します。
概要
Llama 3.2 1B、Llama 3.2 3B、Gemma 2 9B ベースのモデルが登場。
プライベート LLM をご紹介:macOS 用の安全でオフラインの AI アシスタント
Private LLM は、iPhone、iPad、Mac に高度な AI 機能をもたらし、データをプライベートかつオフラインに保ちます。一度の購入で、サブスクリプションなしで、完全にデバイス上で動作する個人的な AI アシスタントを手に入れることができます。
主な機能:
- ローカル AI 機能: インターネット接続が不要な高度な AI チャットボットと対話します。会話はデバイス上に留まり、完全なプライバシーが保証されます。
- 幅広い AI モデル: Llama 3.2、Llama 3.1、Google Gemma 2、Microsoft Phi-3、Mistral 7B、StableLM 3B など、さまざまなオープンソースの LLM モデルから選択できます。各モデルは高度な OmniQuant 量子化を使用して iOS および macOS のハードウェアに最適化されており、従来の RTN 量子化法よりも優れたパフォーマンスを発揮します。
- Siri とショートカットの統合: コードを書かずに AI 駆動のワークフローを作成できます。Siri コマンドや Apple ショートカットを使用して、テキスト解析や生成などのタスクで生産性を向上させます。 - サブスクリプションやログイン不要: 一度の購入でフルアクセスが可能です。サブスクリプション、アカウント、API キーは必要ありません。さらに、ファミリー共有により、最大 6 人の家族がアプリを利用できます。 - macOS での AI 言語サービス: さまざまな macOS アプリケーションで、文法の修正や要約などの AI ツールを多言語で利用できます。 - OmniQuant による優れたパフォーマンス: モデルの重み分布を保持する高度な OmniQuant 量子化プロセスにより、より高速かつ正確な応答を実現し、標準的な量子化技術を使用するアプリを凌駕します。 サポートされているモデルファミリー: - Llama 3.2 ベースのモデル - Llama 3.1 ベースのモデル - Phi-3 ベースのモデル - Google Gemma 2 ベースのモデル - Mixtral 8x7B ベースのモデル - CodeLlama 13B ベースのモデル - Solar 10.7B ベースのモデル - Mistral 7B ベースのモデル - StableLM 3B ベースのモデル - Yi 6B ベースのモデル - Yi 34B ベースのモデル サポートされているモデルの詳細な仕様を含む完全なリストについては、privatellm.app/models をご覧ください。 Private LLM は、一般的な llama.cpp や MLX ラッパーアプリ (Ollama、LLM Farm、LM Studio、RecurseChat など) よりも以下の 3 点で優れています: 1. Private LLM は、より高速な mlc-llm ベースの推論エンジンを使用しています。 2. Private LLM のすべてのモデルは、最先端の OmniQuant 量子化アルゴリズムを使用して量子化されていますが、競合アプリは単純なラウンドトゥニアレスト量子化を使用しています。 3. Private LLM は、C++、Metal、および Swift を使用して完全にネイティブに構築されたアプリであり、多くの競合アプリが (肥大化した) Electron ベースのアプリであるのに対し、より軽量です。 Apple M1 チップ以降を搭載した Apple Silicon Mac に最適化されているため、macOS 用の Private LLM は最高のパフォーマンスを発揮します。eGPU のない古い Intel Mac では、パフォーマンスが低下する場合があります。
レビュー
速いがUIが簡単すぎる。会話管理できない。 *MBP16(M1 Max,32GPU 64G)で使っています。 一般のLLM・GPTサイトと違って、会話を複数管理する機能はありません。そして全文を保存することもできません。レスポンスをクリックしてコピーできるようになっていません。かなり不便です。 Privateの関心は理解できますが、LLMを使う場合は文字が必要でしょう。そうでなければSiriに聞けばいいんじゃないでしょうか? RakutenAIの7Bモデルなら26token/secで利用でき、正確度にも不満がありません。 初期値のtemp 0.7はやや低いと感じています。 MacではLM Studioが使えますが、こちらは雑な出力が少ないようです。(Q8比べ) 電池を食うようなこともなくありがたいです。
Nice Start, but not worth the asking price. It works well enough at what it does. But it doesn’t do much more than prove the concept. No custom model selection, no saved chats, no prompt template access, no character cards and limited controls. Just a vanilla chat with AI locally app. I’ll probably still tinker with it when I don’t have internet for some reason, but I regret spending the money. Will change review later based on progress.
Easy to use onside llm It’s easy to use popular open source llm!
一覧に戻る ※タイトルロゴをクリックしても戻れます。