低スペックPCでもローカルで動かせるChatGPT風アプリを作ったよ

こんにちは、だるまと赤べこです。


タイトルの通りのアプリを作ったので宣伝します。



メモリ16GB, GPUなしのPCで処理できるチャットAIです。


ダウンロードリンク


こちらからダウンロードできます。


Dallama


初回起動時はモデルを更にダウンロードするため少し時間がかかります。


日本語が通じる


GPUがなくても言葉が喋れます。



画像を生成できる


GPUがなくても画像を生成できます。



画像を認識できる


画像認識もできます。




ラット?


スペック要件


このアプリを使用するための最低スペックは以下です。


・Intel製CPUを搭載
・メモリ16GB以上
・Windows10または11


実行するとメモリを12GB程度消費します。
Windows11の場合はPCを起動しただけで3.5GBくらいは消費するので、メモリ16GBのPCだとアプリ単体でも殆ど限界に張り付いてしまいます...


家のPC(CPU: Intel-core-i5-14500, メモリ: DDR4-64GB)だと文章生成が15t/s、 画像生成が一枚当たり3~4秒、画像認識が10秒程度でした。


サブPC(CPU: Intel-core-i7-9750H, メモリ: DDR4-16GB)だと文章生成が10t/s無いくらい、画像生成が10秒無いくらい、画像認識が少しじっと待つくらいでした。


サブサブPC(CPU: Intel-core-i5-2400, メモリ: DDR3-16GB)でも後で試してみます。


何に使えるの?


ただローカルで「おお!動く!」ってなるだけのおもちゃです。


ライセンス


各モデル, ライブラリについてのライセンス本文を同梱しています。




Comments