こんにちは、だるまと赤べこです。

 

タイトルの通りのアプリを作ったので宣伝します。

 

<Image src="/Dallama/Dallama_1.png"/>

 メモリ16GB, GPUなしのPCで処理できるチャットAIです。

 


## ダウンロードリンク

 

こちらからダウンロードできます。

 

[Dallama](https://drive.google.com/file/d/1FbqxdSzYCPx8g1LNdFFtkg6jM_jlrrQy/view?usp=sharing)

 

初回起動時はモデルを更にダウンロードするため少し時間がかかります。

 


## 日本語が通じる

 

GPUがなくても言葉が喋れます。

 

<Image src="/Dallama/Dallama_chat.png"/>

 

## 画像を生成できる

 

GPUがなくても画像を生成できます。

 

<Image src="/Dallama/Dallama_image_.png"/>

 

## 画像を認識できる

 

画像認識もできます。

 

<Image src="/Dallama/Dallama_vision.png"/>

 

ラット?

 


## スペック要件

 

このアプリを使用するための最低スペックは以下です。

 

・Intel製CPUを搭載
・メモリ16GB以上
・Windows10または11

 

実行するとメモリを12GB程度消費します。
Windows11の場合はPCを起動しただけで3.5GBくらいは消費するので、メモリ16GBのPCだとアプリ単体でも殆ど限界に張り付いてしまいます...

 

家のPC(CPU: Intel-core-i5-14500, メモリ: DDR4-64GB)だと文章生成が15t/s、 画像生成が一枚当たり3～4秒、画像認識が10秒程度でした。

 

サブPC(CPU: Intel-core-i7-9750H, メモリ: DDR4-16GB)だと文章生成が10t/s無いくらい、画像生成が10秒無いくらい、画像認識が少しじっと待つくらいでした。

 

サブサブPC(CPU: Intel-core-i5-2400, メモリ: DDR3-16GB)でも後で試してみます。

 


## 何に使えるの？

 

ただローカルで「おお！動く！」ってなるだけのおもちゃです。

 

## ライセンス

 

各モデル, ライブラリについてのライセンス本文を同梱しています。

低スペックPCでもローカルで動かせるChatGPT風アプリを作ったよ

# Jetson AGX Orinは最高のLLM推論PCになり得るか？

 

<img src=/jetson-agx-orin-developer-kit-assets-2c50-d-2x.jpeg>

 

Jetsonという、Nvidiaが直接開発する小型コンピューターのシリーズがあります。

 

「エッジAIデバイス」と呼ばれ、基本的にはロボットやAI関連の研究開発・サービスに用いられる組み込みコンピューターという位置付けの製品群です。

 

あくまで通常のPCとは異なる特定用途の計算機ですから、ローカルLLMという文脈の中では殆ど登場することのない彼らですが・・・

 

実はこれ、LLM推論に最高に相性のいいPCなんじゃないか？

 

ふと思ったので調査してみました。

 


## 結論:
・Jetsonは26.5万円で70BサイズのLLMを推論できる高コスパデバイス
・しかし多くの問題もある
・人によっては使い道があるが、基本的におすすめはできない
## 

 

そもそもJetsonというのは、簡単に言えば「高性能GPU付きのシングルボードコンピューター」です。

 

いうなれば小さくて高性能なLinux PC。

 

「機械学習アプリを目的とした組み込みエッジコンピューティングデバイス」といえば仰々しいですが、特別なことはそんなに無いのです。そんなには。

 

Youtubeも見れるし、ゲームも(一応)出来るし、そしてプログラミングにも使えるよという。

 

それら目的に買うには少し高価格ですが、そこはAI処理特化ゆえです。

 

## Jetson AGX OrinのLLM性能を見る

 

細かいスペックの項目を調べる前に、結果として達成されたLLM性能の一例を見てみます。

 

Nvidiaの公式ブログによれば、このデバイスはLlama 2 70Bという大型のLLMを単独で推論することができ、更にそのt/s(トークン数毎秒)は4.4ということです。(参照: https://developer.nvidia.com/blog/bringing-generative-ai-to-life-with-jetson/)

 

この時点ですごい。

 

なにしろ、RTX4090を搭載するような最上級のゲーミングPCですら不可能なことです。

 

単体GPUとしてこの規模のモデルを動かすにはRTX A6000のようなサーバー向けGPUがスタートラインですが・・・こちらに至ってはGPUだけで60万円程度。

 

半分以下、26.5万円のJetsonがそれを少なくとも実行できてしまうというのは特別な価値です。

 



 

また推論速度についてもそう酷くはありません。

 

公式の仕様書では4.4t/s・・・今の水準ではめちゃくちゃ遅いものの、初期のGPT-4を思えば許容できる範囲です。ちょうど英語で発音会話をするのと同じ程度の速度。

 

ただこれは明らかに理論値、スペックから計算できる最高限の速度に思えます。後述しますが・・・実際に全てのケースで同様に扱えるかは不明です。

 



 

とはいっても、ここまではすごく良く見えます。

 

なにしろLlama 3 70Bモデルを現実的な速度で自宅推論しようと思ったら、普通のPCを買う視点では「PCの基本部品+大容量のマルチGPU」という正攻法か、あるいは50万円〜のMacを買うということになるはず。

 

対してJetson AGX Orinでは26万円一台で全てが完結です。

 

そう考えるとめちゃくちゃコスパの良い選択肢ですよね。

 



 

・・・が、実をいうと逆に弱点もすごく多いのです。

 

ローカルLLMの観点では問題とならない弱点もありますが、そうでないものもいくつか。

 

次以降の項でデバイスの仕様を見て、具体的なメリットとデメリットを比較していきましょう。

 



 

## 性能仕様

 

デバイスのLLM推論性能を見るにあたって重要な情報は、まず何よりもVRAM(GPUメモリ)の容量。次いでVRAMの帯域幅、そしてわずかにGPUそのものの計算性能です。その他、消費電力や価格も。

 



 

で、Jetson AGX Orinですが・・・特殊な点が一つ。

 

ユニファイドメモリを採用しています。

 

つまり、普通のPCではGPUメモリとCPUメモリ(メインメモリ)を別に扱い「VRAMが16GBでメインメモリが32GB」というようにするわけですが、このデバイスに関しては「CPUとGPUで合わせて64GB」となっているんです。

 

なので純粋なVRAM容量を測るということはできないのですが・・・まあLLM推論に限った話をするということで、ここではCPU占有は常に0として計算します。

 

そんなわけで、以下が仕様表です。

 

メモリ(VRAM): 64GB
帯域幅: 204GB/s
TOPS: 275
消費電力: 15W～65W
価格26.5万円～35万円
ストレージ: 64GB Emmc 5.1
アーキテクチャ: ARM64
OS: Jetson OS(Linux for Tegra)

 

それぞれ見ていきます。

 

### 64GBのメモリ

 

LLM推論にはメモリ容量が欠かせません。
LLMに最初の一文字でも生成をさせるためには、基本的にそのモデル自体よりも大きな容量を持つGPUがあるべきです。あるいは複数のGPUを用意すればメモリを合算させて扱う事も可能です。

 

参考として主要な大型モデルの必要メモリは、

 

llama-3.1-70bのq4・・・40GB
mistral-large-2407のq4・・・59GB

 

という感じ。

 

で、Jetson AGX Orinのメモリは64GB。上記のモデルを一台だけで実行させることが可能です。

 

それがこのデバイスの最大の強み。普通この価格帯では絶対に得られない大きさなんです。

 

他のGPUの例を挙げると、

 

・RTX A6000・・・48GB, 約70万円
・RTX 4090・・・24GB, 約30万円
・RTX 3090・・・24GB, 約16万円
・RTX3060・・・12GB, 約4万円

 

というところ。もちろんこれだけではなく、GPUを乗せるPCにも金がかかります。

 

・・・え？RTX3060を5、6個そろえた方が安い？

 

それに関しては後程。

 



 

### 204GB/sのメモリ帯域幅

 

メモリ容量は実行できるモデルそのものに関わりますが、帯域幅はその速度に直接影響します。

 

で、Jetson AGX Orinのメモリ帯域幅は204GB/s。40GBサイズのモデルを扱う場合、理論上の最大値としても一秒間に5トークン程度の生成が限界であるということになります。

 

先ほど見た公式発表が4.4トークン/秒ということだったので、ある程度納得できますね。

 

ただ、この帯域幅はGPUと比べるとかなり遅い部類に入ります。

 

先ほど挙げたGPUでは、

 

・RTX A6000・・・768GB/s
・RTX 4090・・・1008GB/s
・RTX 3090・・・936GB/s
・RTX 3060・・・360GB/s

 

と見事に惨敗。

 

基本的にGPUは帯域幅に比べて容量が少ない状況が多いと思うんですが、AGX Orinに関しては真逆ですね。

 

しかし、低いといえど204GB/s。一般的な最高レベルのメインメモリの二倍程度はあります。

 

普通のGPUに比べては大きく劣るけど、CPUよりは大きく勝るという絶妙なラインです。

 



 

### 275のTOPS

 

TOPSはTera-operations-per-secondの略称で、「一秒間に何テラ回の計算が可能か」という指標です。int8。

 

これはGPUの計算性能そのものを直接示してくれる良い指標です。

 

例によって他GPUと比べると、

 

・RTX A6000・・・619
・RTX 4090・・・1321
・RTX 3090・・・568
・RTX 3060・・・191

 

と・・・一見、殆どに大きく負けているんですが、ここは実際さほど気にしなくて大丈夫です。

 

というのは、LLM推論の場合にはどれも十分すぎるほど高いから。

 

メモリ帯域幅がボトルネックとなるので、どうしたってオーバーパワーなんです。

 



 

### 60Wの消費電力(TDP)

 

地味にすごい数値です。

 

LLMの推論をするPCといったら普通は大型家電並みの消費電力のはずで、

 

・RTX A6000・・・300
・RTX 4090・・・450
・RTX 3090・・・350
・RTX 3060・・・170

 

とGPUだけでも文字通り桁が違います。（しかもPC本体の消費電力は別にかかってくる）

 

対してJetson AGX Orinは全部込みで15～60Wですから、ちょうどエアコンと扇風機くらいの差。

 

先ほどの性能比でみても圧倒的に高コスパであることが分かります。

 

ただ問題は・・・趣味目的程度であれば、LLMの推論をしている時間なんて一日のうちわずかでしょう。実際に電気代を問題視するかはかなり微妙なところです。必要ならGPUに電力制限をかけることもできますし。

 

業務用などで常時回しておく必要があるならうれしいかも。

 



 

### 26.5～35万円の価格

 

価格の幅は購入側の所属によって決まります。学生、教育関係者、研究者は26.5万円。それ以外は35万円。

 

これがかなり難しいラインです。26.5万円として、メモリあたりの価格は0.4万円。

 

もう一度他GPUを見返すと、

 

・RTX A6000・・・48GB, 約70万円, 1GBあたり1.45万円
・RTX 4090・・・24GB, 約30万円, 1GBあたり1.25万円
・RTX 3090・・・24GB, 約16万円, 1GBあたり0.7万円
・RTX3060・・・12GB, 約4万円, 1GBあたり0.3万円

 

ということで、Jetsonもかなり安い部類であることには違いがありません。しかも全部入りですから。

 

ただ、メモリ帯域幅の低さを見ると・・・もう少し予算を増やして、例えば圧倒的に高性能なRTX3090を二台買うとか、RTX3060を6枚そろえるとか(かなり無理があるけど)の構築の方が結果的に良い気もしてきます。

 

とりわけ、もともと巨大なデスクトップPCを持っているなら追加の費用もかかりませんし。（無い場合は安く見積もって+10万円）

 



 

### 64GBのeMMCストレージ

 

よく考えるとこれはひどいです。iPhone 4s(2011年発売)と同じ容量。実質VRAMとストレージが同サイズって。

 

これじゃあ使い物にならない・・・んですが、ただこのデバイスはSSDのNVMe接続がサポートされているので、その気になれば最新レベルのストレージを付け足せます。

 

というか、基本価格に+1万円を見込んでSSD追加を前提としておいた方がいいかもしれません。

 



 

## 専用OSのJetsonOS

 

さて、ここからが良くも悪くもJetsonの本領発揮です。

 

このデバイスはPCの一種ではあるものの、WindowsやMacといった一般的なOSは搭載できません。

 

JetsonOSというUbuntuベースの専用OSが用意されているんです。

 

なのであなたがWindowsやMacユーザーである場合、根本的な操作そのものに不自由を感じる可能性があります。

 

とはいえ、LLM推論を本格的に進めていくなら結局はUbuntuのようなLinux OSを扱うことになるでしょう。そう考えるとそこまで問題ではない気もします。

 

しかしUbuntuにすら慣れていない状態でこの独自OSに触れるのは、殆どの人にはちょっとした挑戦になるかもしれません。

 



 

### ARM64アーキテクチャ

 

もう一つ言及しなければならないのがこれ。

 

アーキテクチャ・・・これは簡単に言えば、PCとしての根本的な設計そのものの話です。普通のほとんどの（家電量販店や大学生協で売られているような）PCはx86-64アーキテクチャというもので設計されています。

 

Jetsonはそうではなく、主にスマホやゲーム機で用いられる方のARM64アーキテクチャを採用。

 

これが何を意味するかというと、普通のPC用に作られたソフトなどの多くが使えないということになってしまうんです。

 

まあLLM推論に関しては現状は特別問題でないと思いますが、しかし他の一般的なソフトなどを使う時には大きな懸念点です。

 

先日発表されたSnapdragon Xなど、ARM64を採用したPCも流行りつつあるようですが・・・今はまだ、簡単におすすめ出来るものではないかも。

 



 

## 強みと弱み

 

さて、そんなわけで大体の評価はまとまりました。ｃ

 

#### 強み:
メモリの巨大さ
低い消費電力
超小型

 

#### 弱み:
メモリ帯域幅の低さ
Ubuntuベースの独自OS
ARM64アーキテクチャ

 



 

これを踏まえて、他のありえそうなPC構築例との比較をしたうえで結論を出そうと思います。

 



 

### 比較元: Jetson AGX Orin
予算: 26.5万円(35万円)
メモリ: 64GB
帯域幅: 204GB/s
TOPS: 275
TDP: 60W

 

### vs. RTX 3090 x2 デスクトップPC
予算: 45万円
メモリ: 48GB
帯域幅: 936GB/s
TOPS: 568
TDP: 約900W

 

評価: 現時点で最推奨の構築との比較。ただし割引視点で見て倍近くの価格差です。メモリは48GBと少ないですが、帯域幅(≒生成速度)なら四倍以上と天と地の差です。大型モデルを高速に扱いたい場合は絶対にこちら。
とはいえ消費電力は1/15なので、待てる時間さえあれば最終的にはコスパでJetsonの勝ちです。

 

### vs. RTX 3060 x5 マイニングリグ
予算: 28万円
メモリ: 60GB
帯域幅:　360GB/s
TOPS: 191
TDP: 約1000W

 

評価: 理論上最も高コスパな構築との比較。RTX3060を5枚も挟めるデスクトップPCは存在しないので必然的にマイニングリグか、野ざらしにライザーケーブルを使うことになります。
理論上はほぼ同額で同等のメモリを得、更に帯域幅は倍近くです。
理論上は。実際にはこれ、尋常じゃない構築です。
取り巻く数多くの問題については専用ページで取り扱います: (未投稿)

 

### vs. 中古P40 x2 デスクトップPC
予算: 15万円
メモリ: 48GB
帯域幅: 347GB/s
TOPS: 47
TDP: 700W

 

評価: 旧式サーバー用GPUであるP40の中古を使う方法です。BIOSの設定やCUDAの対応、ビデオ出力の問題など数多くの問題を解決できるのならばコスパ最高ですが・・・ここではスルー。いろいろと知識が必要な構築です。

 

### vs. M2 Max Mac Studio
予算: 35万円
メモリ: 64GB
帯域幅: 400GB/s
TOPS: 15.8
TDP: 約145W

 

評価: 実はMacはLLM推論にめちゃくちゃ向いてます。メモリはAGX Orinと互角、帯域幅の高さは倍、そして価格は少し上です。ただ20倍近いTOPSの差は・・・LLM推論ですら差があるだろうし、他の用途も考えると本当に「ローカルLLM推論マシン」として扱う覚悟が必要です。CUDAを使えないのも非常につらい。

 



 


## 結論

 

あんま良くない、微妙かも・・・

 

確かに26.5万円で70Bサイズのモデルを動かせる、超小型、省電力、数多くのメリットはあります。

 

しかし予算を増やせばもっとずっと良いものが手に入るということ、その気になれば価格面でもより良い選択肢があることなど、冷静になってみるとこれを選ぶケースってかなり稀な気がします。

 

小型モデルを常時推論する業務目的での使用や、すさまじく長い時間をかけて学習を行う場合、あと持ち運んでカフェで使う必要がある場合などには良いかもしれません。

Jetson AGX Orinは最高のLLM推論PCになり得るか？

ローカルLLM/AIを扱うために必要なPCスペックやその他の要件まとめです。
それぞれ専用ページを作る予定なのですが、時間をとれなかったので1ページに集めました。

 

この記事ではシンプルで箇条書きですが、根拠や詳細は個別ページにて書き足していく予定です。

 

質問などございましたらコメント欄にお願いします。

 


## 前提
ローカルPC上でAIを扱うにあたって重要なのは、
・GPU
・マザーボード
・メモリ
・電源

 

またPCとして当然に必須なのが
・CPU
・ケース

 

となります。
それぞれ見ていきましょう。

 



 

## GPU
要素:
・計算性能
・VRAM容量
・VRAM帯域幅
・分厚さ
・消費電力

 

### 計算性能:
どれだけ早く計算するか。TOPSやFLOPSなど、数値が大きいほど良い。LLM推論においては最初の1トークン生成に大きく影響し、喋り始めてからはあまり関係ない（後述の帯域幅がボトルネックとなるため）。

 

初動の速さを最重視するなら重要だがそうでないならあまり気にしない項目。ただし学習を行う場合, 画像生成等のAIを利用する場合には大切。

 

### VRAM（GPUメモリ）容量:
GPUに搭載されている専用メモリの容量で、AIでは最も重要な項目。単純にメモリより小さいサイズのモデルは動かせないので、この容量がどれだけ大規模なモデルを使えるかを決定する。

 

ただし大体の推論フレームワークでは、複数のGPUを搭載すればそのメモリを合算して扱える。

 

一部GPUでは同じ製品名(例えばRTX 3060)でVRAMの異なる複数モデルが売られているので注意。

 

### VRAM帯域幅: 
AIの推論速度に影響。特にLLMの場合この数値がほとんど全て。1トークン生成にモデルサイズ分の通信を行うので、帯域幅が500GB/sでモデルサイズが100GBなら1秒間の生成トークン数は5。

 

### 枚数
主には動かしたいモデルの大きさに対して必要なVRAM量を計算し、GPUを何枚買うか決める。

 

例えばRTX3090(24GB)+RTX4060(16GB)で合計40GB、Llama 3.1 70B_Q4の必要VRAMが39GBだからギリギリ実行でき・・・ない。

 

余裕をもってRTX3090+RTX4070(12GB)+RTX3070(8GB)くらいが必要。ただし複数枚のGPUが物理的にPCに入るか(マザーボードとPCケースとGPUによる)どうかを調べておく必要がある。

 

### 分厚さ
普通はほとんど気にしない要素だが重要。今の構成が物理的に組み立て可能なのか、今後GPUの追加を見込むとどうなるのか。

 

薄ければ薄いほどいいが、基本的に分厚いほど価格性能比がいい。

 

スロット（20mm弱）単位で換算し、3スロット(60mm)GPUは1スロットGPU(20mm)の3倍分厚い。

 

### 消費電力
TDP。これに対して1.5倍以上のW数を持つ電源が必要だが、電力制限をかければ省電力も可能。

 



 

### おすすめの製品
[RTX 3090](https://amzn.to/4c6cnmc)：VRAM24GB, 帯域幅936GB, 17万円
[RTX 4060 Ti 16GB](https://amzn.to/4fx1OM0)：VRAM16GB, 帯域幅288GB, 7.5万円
[RTX 3060 12GB](https://amzn.to/3AdM8gA)：VRAM12GB, 帯域幅360GB, 4.5万円

 



 

## マザーボード
要素:
・一般用/マイニング用/ワークステーション/サーバー用のどれを買うか
・規格
・PCIeスロット
・対応メインメモリ
・対応CPU

 

### 一般用/マイニング用/ワークステーション/サーバー用
基本的に一般用ボードを買う。

 

マイニング用を買うならGPU使用に関する全ての悩みから解放される。低性能CPUと低性能メモリにしか対応してないのが殆どだけど、高いGPUを用意すればそんなに問題ない。ただし基盤むき出し、巨大、専用電源などの問題がある。居住環境と相談。

 

ワークステーション/サーバー用に関しては話すことが多すぎるので別記事で。普通は価格面で不採用。

 

### 規格
マザーボードのサイズの規格。大きい順にE-ATX, ATX, MicroATX, mini-ITXと定められている。
GPUをたくさん挿したいので大型のE-ATXかATXをおすすめ。そのどちらかは好きなほうでいい。

 

### PCIeスロット
GPUとかを挿す場所。これが多いほど多くのGPUを挿せる。x16やx4といった通信速度の差があるが体感的にほぼ影響しないので無視。

 

それより問題は物理的なスロットの幅。x16幅のスロットだけにGPUを挿せる。なのでとにかくx16幅のPCIEスロットがたくさんあるマザーボードを買いたい。

 

ATX, E-ATX規格なら理論上は最大7つのスロットが作れるが、実際はもっと少ない。そして例えば3スロット幅のGPUであれば、1スロット目に挿しただけで1～3スロットを占有してしまう。
7スロット目に挿した場合は下にはみ出るので他のスロットを邪魔しない。ただ基盤と干渉することもある。

 

### 対応メインメモリ
主にCPUが使う方のメモリとの対応。DDR5(速い)かDDR4(速くない)かDDR3(遅い)から選ぶ。

 

基本的にGPUを使うはずのAI推論時には関係ないが、上述のVRAMより大きいモデルをメインメモリにはみださせて実行できる場合がある。一段と遅くなるが、その中ではメモリ性能で重要な差が生まれる。

 

資金に余裕があればDDR-5対応のものを。なければDDR-4でも問題ない。そもそも今の時点ではVRAMに収めるのが基本。

 

### 対応CPU
購入するCPUに対応するマザーボードが必要。動画編集など特定の目的があったり先にCPUを用意してる場合はそれに合わせる。なければ、あくまでLLM推論にはほぼ関係なので好きなものにすればいい。古いと肝心のCPUが売ってないこともあるので確認だけしてから。

 

### おすすめの製品
[MSI MAG H670 TOMAHAWK WIFI DDR4](https://amzn.to/46NNWcp)：2, 5, 7スロット目にx16幅のPCIeスロットがある。
[ASRock Z790 Taichi](https://amzn.to/3LOvUN8)：2, 5, 7スロット目にx16幅のPCIeスロットがある。DDR5対応。

 



 

## メモリ
マザーボードに対応する世代のなかで、DDR5-4800の4800みたいな数字の部分ができるだけ大きいやつを2枚だけ買っておくとメインメモリはみ出しの際に速い。しかし一般的なPCのメインメモリでの推論はまだまだ遅いのでそう気にしない。

 

RDIMMじゃなくてUDIMMを選ぶ。

 

DDR4なら2枚以上の2の倍数で好きな数、容量に合わせて。
DDR5なら必ず2枚だけセットで購入。それより少なくても多くても遅くなる。

 

### おすすめ: Amazonで安くて評価高いやつを探す

 

[DDR5](https://amzn.to/4c5VPuA)：高速で高価格。
[DDR4](https://amzn.to/3YtYCdO)：DDRの半分ちょっと上くらいの速度で安価。

 

### 選べない場合
DDR5：[Kingston FURY DDR5-5200](https://amzn.to/46vFzC0)
DDR4：（後で探します）

 



 

## CPU
なにも気にしなくていいくらい。

 

ただし巨大なモデルをメインメモリにはみ出させる場合は高価なCPUを買うことで、

 

「ゆっ...............くり」

 

から

 

「ゆっ...........くり」

 

くらいに短縮できるかもしれない。

 

### おすすめ: 使うマザーボードに対応してる安いやつ。他の用途もあればそちらに合わせて選ぶ。

 



 

## 電源
以上の内容から決めた各パーツに対し、それぞれのTDPを合算した数×1.5倍のW数のものを選ぶ。複数の電源をアダプタ使用して連動させることもできる。

 

ただし日本の一般的なコンセントは1セットあたり1500W、1部屋の合算で2000W、1物件の合算でもいくらかの制限がある。エアコン用だったら部屋とは独立して2000Wとか使えることもある。

 

だから基本的に〜1500Wのものを一つだけ買う。大量のGPUを搭載する場合には二部屋から２つ繋ぐとか、エアコン用電源に2000Wのものを繋ぐとか。

 

複数のGPUを使うときはこの電源と物件が問題になってくる。GPU側に電力制限をかければ性能は少し落ちるが可能な範囲内に収まるかも。

 

GOLDとかBRONZEとかは言われるほど気にすることないけど、余裕があればいいものを。

 

火事が怖いのでメーカー選び大事。有名どころならOK。

 

### おすすめの製品
[Thermaltake TOUGHPOWER GF3 1200W](https://amzn.to/46NOaQN)：安くて高性能、信頼のメーカー。
[玄人志向 80Plus GOLD 850W](https://amzn.to/3AauOc8)：安い。信頼のメーカー。

 



 

## ケース
PCの構成を決めたら、それを収まるケースを選ぶ。

 

基本的にみるべき点は
・どの長さのGPUに対応しているか。350～であれば確実に大丈夫
・マザーボードの(E-ATX, ATXなら)7スロット目にどれほどの空間があるか
・冷却性能
の３つ。

 

結論としては大きくて空気穴が多く、ホコリが入らないものほど良い。
またギリギリGPUが収まってもファンが窮屈だと性能低下することにも注意。

 

### おすすめ
[Fractal Design Meshify 2 XL TG](https://amzn.to/3WuAdT2)：大きい。E-ATX/ATX対応。電源２つ入る。縦GPU配置で空間に余裕持たせられる。エアフロー良し。HDD大量に載せられる。
[LIANLI O11D EVO RGB](https://amzn.to/3WKTP6x)：E-ATX/ATX対応。デュアル電源対応。水平GPU対応。見た目がかっこいい。

ローカルLLMやAIを扱うために考えるべきPCの要件をまとめた

# どうしてChatbot ArenaではGPT-4o miniがClaude 3.5 Sonnetを上回るのか？

 

「Chatbot Arena」は人間によるLLMの性能評価をまとめたサイト。特徴は全てのモデルにとって完全に平等な評価が下されること。

 

従来のベンチマークテストは特定のモデルに有利なことがあるかもしれないし、そもそも採点者によってモデル評価が変わってしまうこともある。

 

だからChatbot Arenaでは、大量の人が自分で問題文を考えて、それを名前の明かされない二つのモデルに解かせ、より良い方を選ぶ・・・というテストを採用した。

 

それが何万、十何万と繰り返されれば・・・間違いなく平等で正確なLLMベンチマークになるのは明らか。

 

なのに・・・

 

<Image src="/lmsys-bench1.png"/>

 

GPT-4o mini、llama 3.1のスコアがClaude 3.5よりも上なのだ。

 

もしかしてClaude 3.5が最高なのは日本国内だけ？

 

<Image src="/lmsys-bench2.png"/>

 

いや、日本語性能にしぼってもClaudeの評価は低い。

 

何で？？？

 

## 考えてみる

 

という事で、今回はこの「LMSYSベンチマークだとGPT-4o miniの評価がやたら高い＆Claude 3.5の評価が低い」問題について考えてみたいと思います。

 

だって、おかしくないですか？

 

こんなものは個人の感想になってしまうけど、Claudeは他のモデルよりも賢いです。

 

僕に限った話ではなく、日本では誰もの共通認識だと思います。

 

英語圏でも、多少議論はあるものの、少なくとも「一番人気」は同じです。

 

にも関わらず低く出るスコア。

 

LMSYSは他のベンチマークと違ってごまかしや対策が効きません。ユーザーの評価がそのまま表されるんです。本当に多くの人が「Claude 3.5がベストだ」とこうも明確に感じるなら、それはスコアに反映されるはず。

 

ということは・・・実際には、Claude 3.5の性能がより高いという考えそのものが群衆心理による誤りなのでしょうか？あるいは陰謀論者のように、ただ事実と異なるだけの答えを見出した自分に陶酔しているだけとか？

 

結論、そんなことはないと思うのです。僕自身出来る限り多くのモデルを触るようにしていますが、それでもClaudeは他よりも優れている・・・と思うし、少なくともGPT-4o miniを下回ることはありえない。

 

だからいくつか、このベンチマークが現実の評価を反映していないと主張するための根拠を考えてみました。

 

## 根拠

 

### 1. "OpenAIとLMSYSが結託してテスト結果を操作してるんだ！！！！"

 

一部SNSや掲示板でまことしやかにささやかれるこの噂。拠り所としてはGPT-4oや4o mini発表時の二社の馴れ合いが挙げられますが、

 

まあ嘘でしょう。

 


### 2. ユーザープロンプトが現実に即していない

 

基本的にChatbot Arenaで自分の現実の課題を解決してもらいたいと考える人は少ないはず。答えを知っていて、そのうえで投げかける・・・とか、多くの人が知っている常識的な質問をしてなんとか良し悪しを見出そうとする方がずっと多いと思います。

 

それがClaude 3.5 Sonnetのようなより自由な生成をするモデルにとって不利に働いているという可能性。

 


### 3. よりそれっぽい方を評価してしまう

 

正確に簡潔に一言の答えを述べるより、長く詳細で論理的な文章を生成するより、上から下までさっと理解できる、ほどよく長くて簡単な答えをするモデルが無条件により良く思えてしまうことがあるかもしれません。もしそうだとしたら、それはモデル性能というよりもシステムプロンプト設計の問題です。　

 


### 4. 長期的な対話の評価をしない

 

2と同じ理由で、ユーザーはそう本格的に長く会話しようとはしないでしょう。インターフェースも良いものではないし。一般的に小型のモデルは(そう、GPT-4o miniのような)大型のモデルよりも早い段階、短い対話のうちに性能を大きく落とします。これがユーザー評価で見過ごされている可能性は十分にあり得ると思います。

 

## 結論

 

考えたところで答えがわかるわけでは無いのですが、いくつか最もらしい理由も考えつきました。

 

もしかしてLMSYS Chatbot Arenaは一般的に言われるほど信頼のおけるテストではないのかもしれません。もっと理路整然とした問題、採点基準のある従来型のベンチマークテストの方が役に立つことがあるのかも。

 

だとしたら、今以上に正確にモデル評価を可能とする新型のChatbot Arenaみたいなものも作る余地がありそうです。

どうしてChatbot ArenaではGPT-4o miniがClaude 3.5 Sonnetを上回るのか？

# 「Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation」LLM評価専門の小型LLMについて

 

Googleが発表した新たなLLM「FLAMe」に関する論文の解説です。

 

[Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation](https://arxiv.org/html/2407.10817v1)

 


## 論文の内容まとめ
・LLMの性能評価が大変になってきた

 

・LLM性能を自動で評価するためのLLM「FLAMe」を作った

 

・24Bパラメータでありながら一部ベンチマークでは全ての既存モデルを上回った

 

つまり、GoogleはLLMのモデル性能を評価するための専門的なモデル「FLAMe」を開発し、それが目的の領域・・・"LLMの性能を評価するLLMとしての性能の評価"でGPT-4oをも超える高い性能を達成したということです。

 

あくまで専門領域でのみ上回ったという話ではありますが・・・

 

それにしても、仮に特定のタスクであれ、たった24Bに過ぎないパラメータ数のモデルが本当に現行での最高性能を達成したというなら驚くべきことですよね。

 

それでは以下、解説に入ります。

 

## 始まり

 

大規模言語モデルが進歩するにつれ、その性能を評価するコストはますます大きくなっています。

 

人間が直接モデルのパフォーマンスを評価することは良い手段でしょうが、それはあまりに高コストなうえに個々人の主観による評価のばらつきが発生してしまいます。

 

その点で言語モデル自体にあるモデルの性能評価を行わせるというのは良い解決策です。コストは低く、評価基準も常に一定となるはず。

 

そんなわけでGoogleはこの目的のための専門的なモデル・・・つまりLLM評価用LLMの開発に着手しました。

 

 

## 問題

 

目標に向けて、いくつかの重大な問題がありました。

 

LLM自動評価用LLM（原文ではLLM autoraters, 以下"評価用LLM" ）をトレーニングして人と同様の判断を下せるようにするためには、当然そのための元データ・・・膨大な人間による判断の記録が必要です。

 

過去の研究からそれを収集することは有望に思えるものの、各データの形式は標準化されておらず、評価基準も多様で、そのうえ文書化が不十分であったり権利関係の懸念も考えられます。

 

LLMサービスの中には出力を他モデルの開発に使用することを禁止しているものもあります（例えばOpenAIのLLMは学習データ生成目的での利用禁止）。

 

## 対処

 

上記の問題に対処するため、Googleは先行する関連研究を徹底的に調査し、時には著者と相談し、膨大なコストをかけて得た大量の人間の評価の記録にこれまた膨大なコストをかけて文書化・標準化を行ったようです。

 

そうして「権利的に透明な合計530万件、102の品質評価タスクの記録」であるFLAMeを作成しました。言語の翻訳や指示への正確な対応など、さまざまなタスクタイプを網羅しているとか。

 

こうしてGoogleは評価用LLMの学習に役立つかもしれない強力なデータを手に入れました。後は実際に学習を行って、どうなるか。

 

## 学習

 

<img src="/x1.png"/>

 

https://arxiv.org/html/2407.10817v1#S1.F1より

 

1.まずGoogleはかつて開発したPALM-2-24Bを上記のFLAMeでトレーニングしました。この時点で大きく改善し、多くのタスクでGPT-4, Claude-3, Llama 3といった最新の大型モデルを上回りました。

 

2.次いでこのFLAMeモデルに対して、報酬モデル評価タスクの性能向上を目的とした追加のファインチューニングを行いました。結果としてできたFLAME-RM 24BモデルはRewardBenchベンチマークでの性能が86.0から87.8へと改善されました。

 

3.更にもう一つ、異なる方法でPALM-2-24Bを学習させたFLAMe-Opt-RMも作りました。今までにない新たなテイルパッチファインチューニング技術？(novel tail-patch fine-tuning technique)を用いて、データセットの最適な割合を決定したうえでPALM-2-24Bをファインチューニングしたものです。こちらもまたRewardBenchにて87.0と高いスコアを得たうえ、この手法では1.のFLAMeに対して1/25の量のデータしか用いていません。

 


## 結論

 

1.100以上の品質評価タスクについての、標準化された500万件のデータセットを作成した。そしてこれは公開される。

 

2.全ての一般的な独自LLMよりも優れた評価用LLMを開発した。そのトレーニング方法の有効性を実証した。

 

3.計算効率の高いマルチタスクトレーニングの手法を導入した。

論文解説: Foundational Autoraters

こんにちは、だるまと赤べこです。

 

ここではやむを得ない事情により中古のGPUを購入しなければならない事態となった方に向け、そのリスクを少しでも低減させるためのいくつかの指針とアドバイスを書き留めます。

 

**絶対に、絶対に責任はとりません。**ご了承いただける場合のみ、あくまで参考程度にこの続きを読んでいただければ嬉しいです。

 



 

## 大前提

 

まず中古GPUを購入するというのは非常に危険な選択です。そもそもが精密機械なうえ、無理をさせれば簡単に摩耗します。前所有者の用途が趣味のゲームであれば多少はマシなものの、もし24時間365日3年間メンテナンスもなしに酷使されていようものなら、もうそれは仮に動くとしてもほぼ死にかけといって良い状態でしょう。そしてそんな代物が一切の申告なく、新品と同じ外観をして売り出されているのが珍しくもありません。

 

個人的に中古で購入すると痛い目に合う(合った)PCパーツの断トツ一位がGPUです。

 

ただ、それでも買ってしまうのは・・・とにかく安いんですよね。

 

安いし、新商品の投入の早さゆえに「新品が買いたくても売ってない」状況はざらにありますし。

 

そのために危険を承知の購入者も後を絶ちません。

 

というか、私もその一人です。

 



 

### 考慮1. 機械学習とゲーム

 

生成AIとゲームでは求められるスペックがかなり異なります。

 

特に限られた予算の中で選ぶ場合、機械学習で重要とされるVram容量や帯域幅、対応ドライバなどはゲーム用途ではわりと無視されます

 

例えば中古12万円程度で買えるRTX 3090はゲーム用途としては無駄に高額で非効率だけど、AI用途ではVRAMのおかげで最強レベル。

 

逆にRadeonの中古新型モデルはゲーム用途としてはベストでも、AI用途では使い道が少ないです。

 

そんなわけで「とりわけ機械学習向け」のGPUを買うことは重要です。その分割安で手に入れられる確率が高くなります。

 



 

### 考慮2. 機械学習とマイニング

 

ただ、重要な懸念事項もあります。

 

上述した機械学習用の特性というもの、どうも全てマイニング向きGPUの要件と被るみたいです。

 

「とはいえ、今となってはマイニングなんて時代遅れ。それを目的に買う人なんていないだろう・・・」

 

ですが、しかし今から購入する中古GPUがもともと何に使われていたかはよく気にする必要があります。

 



 

## おすすめの買い方

 

以上の前提と考慮を踏まえつつ、私が個人的に好む中古GPUの購入方法を説明します。

 



 

### Ebayで長期間保証付きのGPUを買う

 

まず一番おすすめの方法。Ebayです。

 

Ebayというのは国際的な売買ができる巨大ECサイトです。ヤフオクのように個人がオークション形式で販売していることもあれば、わりとしっかりした企業が主な販売手段として利用していることもあります。

 

そして、実はここでGPUが結構売っているんです。多くはRefurbished・・・中古の再生品ですが。

 

まあ、再生品というのが実際にどんな工程を経たものなのかは分かりません。分かっても信用なりません。

 

ただ言えるのは、実際に動くGPUが保証付きで安く大量に売られているということ。

 

例えばこのショップ「[Respec.io.Store](https://ebay.us/UBzjlY)」であれば、販売するすべてのGPUに「30日間の無料返品+1年間のショップ保証」が適応されています。

 

うち30日間の方はEbay側が管理する返品規約なので安心度は高いですし、1年保証の方も悪い噂は聞きません。

 

価格はメルカリの相場より少し高いけど、大手ショップの中古相場よりは少し安いくらい。

 

例えば[RTX 3090](https://ebay.us/xisQJW)で829.95ドル＋配送43ドル、今なら14万円くらいなど。

 



 

で、これはただのおすすめですが、Ebayにはこんな感じのGPUショップが他にもいくつかあります。

 

送料込みでも国内相場と比べて全然見劣りしませんし、配送も2週間程度と・・・まあ個人的には許容ラインです。

 

そう考えると、保証分も含めればかなり安いんじゃないかな。

 

とにかく、問題があれば返せばいいというのが大きいです。

 



 

### 保証付きの品を買う

 

もともと基本的に全てのGPUにはメーカー保証がついています。が、有名どころは全部「譲渡した時点で失効」なのでこれには頼れません。

 

ただ、場合によっては販売店側が追加での保証をしていることがあります。3年、5年など・・・こちらにはまだ希望があります。

 

もちろんメーカーと同じ譲渡禁止の制約があることも多いですが、それに言及していない場合もあります。詳細は省きますが、とにかく動作不良に対する保証があるGPUならば最も安心して購入できるでしょう。

 

（たまにメーカー保証ありなどという出品者がいますが、とにかく譲渡した時点で失効することに注意してください。後は交渉しだいです）

 



 

### 未開封品を買う

 

中古じゃなくない？というのはさておき、保証がない場合に唯一安心できる購入方法がこれです。

 

まあ、もちろん未開封の箱の中で最悪な何かが起きている可能性は否定できません。

 

ただ現実として、期待値としては上の保証付き品や再生品よりもずっと高いパフォーマンスを長期間にわたって維持できそうではあります。

 

メルカリのような個人取引でもある程度の信頼性もあります。なにしろ未開封という嘘はつけませんから。

 

問題はそこまで安くないってこと。

 

それでも、例えば日本のAmazonなら新品の[RTX 3090](https://amzn.to/45Zb07D)が19万円弱で売っているとか、[アメリカのAmazon](https://amzn.to/45MMMgK)なら送料込みでも1100ドル弱ともう少し安いです。元値が32万円以上であったことを考えると悪くない選択肢かもしれません。

 



 

### 知り合いから買う

 

少しせこい提案ですが、知り合いから買えるものならそれが一番です。ふだん嫌われていなければ正直に状態を教えてくれるだろうし、少し割引してくれることもあるかもしれません。初期不良なら返品させてくれるかも。

 

ただ、そんな友達がいないとそもそも使えない手です。

 



 

## やるべきこと集

 

次に、GPUを中古で購入すると考えたときにやるべき広範な事項を説明します。

 



 

### 買う前: 以前の用途を知る

 

なかなか難しいですが、そのGPUの現在の状態を測るうえで重要な情報です。できる限り収集しましょう。

 

まあ中古品店などでは絶対にわかりませんが、メルカリやヤフオクでは「〇年ほど○○に使用していました」みたいな記述があるはずです。無かったらアウトです。あったとして、書かれている内容がマイニングやGPUレンタルであれば確実にアウトです。

 

そしてもし「全然使ってません！」などであればアウトよりの不明ということになります。

 

そうなると、あとはもう予想するしかありません。

 

他の出品物が軒並み金持ちの個人の私物っぽいとか・・・
明らかに情弱向けのBTOパソコンを丸ごと出品してるとか・・・
超高級な水冷化など愛を感じる扱いをしているとか・・・

 

いや、どれも正直なんの確信も持てない情報に過ぎないのですが、それでも安心のおまじない位にはなるはずです。

 

逆に過去出品の中にマイニングリグなどがあったら120％アウトですしね。

 



 

### 買った後: 負荷テストをする

 

掘り出し物を見つけて購入、いざ起動してみたら・・・幸運！なんの問題もなく動作。

 

でも、そこで終わってはいけません。

 

そのGPUの保証期間は1か月、それとも一週間ですか？あるいは0日でしょうか？

 

いずれにせよ、今すぐに負荷テストを行ってください。

 

負荷テストというのは文字通り、GPUに対してひたすら強い負荷をかけてみることです。

 

例えばネットのゲーム用ベンチマークとか、ローカルLLMに延々としゃべらせ続けるとか、画像生成AIをノンストップ設定で動かし続けるとか、とにかく長時間・・・できれば一日程度は動かせ続ける何かを使ってみてください。

 

わりと壊れます。

 

壊れたら初期不良として即返品です。この状況なら応じざるを得ないはず。

 

逆にここを生き延びたら、ある程度は信用していいかもしれません。

 



 

### 問題発生後: 覚悟する

 

もし購入したGPUに問題があり、予定していた運用ができないようであれば覚悟してください。

 

ここでいうのは、大金をあきらめる覚悟というよりも「何が何でも返品させる」という方の覚悟です。

 

相手が企業であればそう問題にはならないかもしれません。

 

ただ相手が顔も知らない個人であった場合・・・これはもう腹をくくって、

 

とにかく毅然と、何が何でも絶対に返品させるという気合で挑むしかありません。大丈夫、日本なら勝てる可能性の方がずっと高いです。相手に何を言われても矛を収めず、代金が返ってくるまで絶対に争ってください。

 


## やってはいけないこと集

 

反対に中古GPUの購入にあたってやってはいけないことを並べます。

 



 

### メルカリ, ヤフオク等で一番安いやつを買う

 

絶対にやめましょう。あまりにリスクが高すぎます。

 

そもそもメルカリで買うということ自体が推奨しにくいのですが、もしそうするにしても「安い」は理由として最悪です。

 

「中古完動品。ちょっとしか使ってません。念のためノークレームノーリターンでお願いします・・・」

 

こんな説明になんの証拠もありません。

 

はっきりしたことを言っていなかったら、マイニングリグに幅0センチで敷き詰められて3年間メンテなしフル稼働させられた焼け残りみたいなGPUなんだと考えた方が賢明だと思います。

 

もし「ゲーム用途で・・・」などと言っていたとしても、それを信じるか否かは購入者次第です。嘘をついていたとしても見抜くことは絶対にできず、そして嘘をつくメリットは大きいです。

 

かろうじて信用に値するのが、先ほども言及した未開封品。ただしこれも動作確認は必須です。(偽物GPUというもののも存在します)

 



 

### 保証期間の短いPCショップで買う

 

大手PCパーツ店は中古品も取り扱っていることが多いです。「企業なら個人のメルカリよりは安心かな」というのは間違いではないのですが、ここでも気を付けることがあります。

 

それが保証期間です。

 

例えば保証1週間なら、もしかしたらそのGPUは購入8日後に壊れてしまうかもしれません。

 

というのは言い過ぎですが、その確率がわりと無視できないレベルで存在するのは確かです。

 



 

## まとめ

 

というわけで、以上が私の個人的な中古GPU購入における指針でした。

 

結論としては、よっぽどの魅力がない限りは価格面でEbayのショップを、安心面でAmazon販売の新品を購入することをおすすめします。

 

まあ・・・金があれば新品を買えばいいんです。

 

ただAI用途では「金があれば中古品を二つ買う」というのがより良い選択肢になることもあります。

 

そんな中で少しでも被害が減るようにとこの記事を書きました。

 

この記事の情報がお役に立てれば幸いです。

 

それでは、最後までお読みいただき本当にありがとうございました！

中古GPU購入の指針とアドバイス【機械学習, 生成AI用】

ChatGPT「CUDA（Compute Unified Device Architecture）は、NVIDIAが開発した並列計算プラットフォームおよびプログラミングモデルです。主にNVIDIAのGPU（Graphics Processing Unit）を利用して、高性能な計算処理を実行するために使用されます。・・・」

 

・・・

 

なんだそれは？

 

ということで、この記事では"CUDA"って言葉の意味、ローカルLLMにおける立ち位置と必要知識をまとめて解説します。

 

最後まで読んでいただけたら幸いです。よろしくお願いします。

 

## そもそも、GPUとは

 

CUDAの話をする前に、その前提について少しだけ。

 

そもそもGPUって"ビデオカード"とか"グラフィックボード"って呼ばれたくらいですから、本当は「グラフィックを処理するために存在する機械」のはずなんです。

 

でも・・・今の感覚だと全然そんなことないですよね。

 

GPUといえばゲーム、マイニング、そしてAI。

 

ゲームは確かにグラフィックです。

 

でもこのサイトに来ていただいたあなたにとってはAIの印象がずっと強いでしょうし、それよりも何にも興味のない方にとっては一昔前のマイニング時代のイメージが一番だったりするんじゃないでしょうか。

 



 

ゲームの他、仮想通過だの、生成AIだの、全然"グラフィック"ボードじゃないじゃないか？

 

・・・という疑問は自然に湧いてきます。

 



 

以下、ここは本記事の主題ではないので要点だけを説明します。

 

まずPCのグラフィックの処理には、簡単な計算を同時並行的に膨大に行うことが求められます。

 

この"同時並行"というのが重要な点でして、つまり普通の計算機やGPUの搭載されてない昔のPC、もっと言えば電卓、彼らにはあまりに荷が重いのです。

 

あれらだってその性能は大したものですが、同時並行的な計算のために設計されていないという仕様上グラフィック処理にはまるで向きません。

 

そんなわけで、その昔、GPUなんて言葉も存在しなかった昔では、高度なグラフィック表現というのはPCにおける大きな課題でした。1980-90年代とか。

 



 

でもまあ、課題は分かりきっていたわけです。

 

**簡単な計算を高速に同時に大量にやれればいい**(もちろんここまで単純ではなさそうですが)

 

そんなこんなで、1999年?にNvidiaが「世界最初のGPU」GeForce 256という、ようは簡単な計算を高速に同時に大量にできる機械を生み出しました。

 



 

そして、後になって登場したマイニングにも**たまたま**それが適していた。

 

**たまたま**Transformersのスケール則が発見された。というのは暴論かも・・・

 



 

## CUDAとは

 

で、長くなってしまいましたがここからが本題です。

 

以上の顛末で生み出されたGPUですが、それから数年の後・・・本来の能力はやっぱり「ひたすら大量に計算すること」であり続けている。でも今はもっぱらグラフィック処理の為だけに使われている。という状況でした。

 

当時の科学技術計算に何の知見もない私（と、おそらくは読者の皆様も）ですが、どう考えたってGPUがグラフィック以外のもっと広範な用途で使えそうな気がするのは明らかです。

 

実際当時の世の中の科学者たちも、Nvidia社自身もそう思っていたみたいです。気象や物理のシミュレーション、また機械学習等に需要があったとか。

 

実際にまもなくNvidiaは、GPUを画像以外の色々な目的、とにかく大量な計算が必要などんな目的にでも使えるようにと専門の自由な開発プラットフォームを作り出します。

 

それがCUDAというわけです。

 



 

結論。

 

CUDAとはNvidiaのGPUで計算をするためのもの・・・本当にそれだけ。

 



 

なまじグラフィック専用として誕生してしまったものだから順序が逆転し、分かりにくくなっているけど、こう考えるとシンプルですよね。

 

## LLMにおけるCUDAの価値

 

次に、なんでLLMでCUDAがよく登場するのか。

 

実は大規模言語モデルによる文章生成というのもまた、部分部分を切り分ければすさまじく単純な計算の集まりになっているんです。

 

足し算とか掛け算、そのレベルです。

 

ただその数は膨大・・・

 

ユーザーの"こんにちは"に対して"こんにちは"と返す、その最初の"こ"を生成するだけでも余裕で億は超える回数の計算をしなければなりません。

 



 

ということで、見るからにGPUの、つまりCUDAの出番です。

 

（ちなみに、最近NvidiaがAIブームと繋げて以上な過熱を見せるのもこれが理由・・・CUDAを持っているのがNvidiaだからです。Nvidiaが作るGPUの性能それ自体は競合他社より特別に優れる、という程ではない気がします。）

 

## ローカルLLMをやるうえでCUDAについて知っておくべきこと

 

結論から言うとありません。

 

いや、そんなわけはないのですが・・・

 

「ローカルLLMをやる」多くの人はまず、ネット上のモデルをダウンロードして自宅のPC上で動作させることを目指すでしょう。

 

それが叶ったら次にはこのモデルをもっとうまく扱う為の仕組み・・・ベクトルデータベースとか、コンテキストの調整の学習を始めたりするかもしれません。

 

深みにはまっていくと量子化やファインチューニング、その他モデルを直接いじる勉強を始めるかも知れません！

 



 

・・・ここまでCUDAの出番はありません。

 

というのは、もうCUDAを用いた既成の仕組みが公開されているので、そちらを使った方が速いんですね。

 

逆に言えば、ここで書いたような内容をもっと掘り下げる、むしろその先に行く、もはや全く別の方向性に行く、あるいはもっと根本的な機械学習を深く学ぶ・・・といった場合には、CUDAは当然のように最重要の知識として求められてくるようです。

 

だったらまあ、それはその時にということで。

 

少なくとも今ローカルLLMを始めた、その時に「CUDAがどうたらこうたら」という形で無数に表れるネット上の文書、Pythonのエラーコード、ライブラリのドキュメント達をそう気にすることはないと思います。（もちろん、知っておくに越したことはない）

 

ただ「CUDAとはそんなもんか」と見慣れてしまえばあとは何の問題もありません。

 



 

・・・あれ？だったらこの記事はなんのためにあるんだ？

 

えーと・・・

ローカル生成AIにおける「CUDA」とかいう四文字の意味と知るべきこと

こんにちは、だるまと赤べこです。

 

今回のテーマは「ローカルLLMとは」

 

最後まで読んでいただければ幸いです。よろしくお願いします。

 

## ローカルLLMとは

 

さて、ローカルLLMとは何でしょうか？

 

簡単に言えば「自宅のPC上で動かせるChatGPT」みたいなものです。

 

以上です。

 



 

・・・いや、お暇ならもう少し話を聞いてください。

 

そもそもLLMというのは"Large Language Model"、日本語で「大規模言語モデル」の略称です。

 

大規模言語モデルというのは、まあここでは「ChatGPTの中の人」とでも形容しておきましょうか。あんな感じで自然に言葉を紡ぐAIのことを大規模言語モデルというのです。

 

そしてIT用語としてのローカルというのは、世界中で情報が飛び交うインターネット社会において**「自宅の、自社の、手元の、パソコンそのものやら外部と隔たれた環境やら」**のことを指すと思います。

 

つまりここまでの話をまとめると、ローカルLLMとは「自宅のデバイス上で、ChatGPTみたいな喋るAIを使うもの」ということなんです。

 



 

・・・え？別にChatGPTだって自宅のPCで使えるじゃないかって？

 

確かに・・・

 

じゃあ、もう少し深い説明をしますね。

 

## ChatGPTとLLM

 

こんなものは言葉のあやですが、そもそもChatGPTって別にAIじゃないんです。

 

厳密にいえばChatGPTとは「OpenAIの開発したAI(大規模言語モデル)を使って自然な会話が出来るチャットAI"サービス"」です。

 

そして、そのChatGPTを動かす中の人・・・実はこれこそが真にAIと呼べるものの正体なんです。

 

例えばGPT-3.5とか、GPT-4、GPT-4oとか。

 

つまり、

 

"コールセンターで田中が対応します"
"ChatGPTでGPT-4が会話します"

 

ちょうどこんな感じ。

 

で、繰り返しになりますがこの「GPT-4」とかが大規模言語モデルってわけです。

 



 

さて、そんなChatGPTですが・・・

 

じゃあこのChatGPTの中の大規模言語モデルは、一体どこにいるでしょうか？

 

1: OpenAI社が持ってる巨大サーバー
2: ChatGPTユーザーのスマホやPCの中

 



 

答えは1. OpenAI社の巨大サーバー です。

 

だって考えてみれば、ネット接続が切れたらChatGPTも使えませんものね。当たり前のことでした。

 

それ以前にChatGPTをデバイス上で動作させられるようなスマホは2024時点でこの世に存在せず(10年後でも怪しい)、また、そんなPCを所有する個人もいないでしょう。

 

GPT-3.5ならいけるかもしれないけど・・・いたとして、サウジアラビアに一人か二人。

 

まあ、そもそもGPTシリーズは非公開なのでOpenAIとMicrosoft社のサーバー以外には絶対にいないのですが。

 

つまりChatGPTとは、そのような超高性能PCで動作しつつ、その結果をネット接続によってユーザー一人一人のデバイスに表示しているだけのもの・・・ということなんです。

 



 

さあ、ここまで話が進めば十分でしょう。

 

## つまりローカルLLMとは、

 

つまりそれは、「GPT-3.5やGPT-4のような大規模言語モデルそのものを、自宅のPC上で動作させるもの」です。

 

ネット接続の有無を問わず、企業に使用料を支払うこともなく、企業に恥ずかしい会話履歴を覗かれることもなく、私達のこのPC上に存在するAIがこのPC上で言葉を生成してくれる。

 

それがローカルLLM。

 

そう考えると、最近みなみなこの言葉に乗っかっている理由もなんとなく分かる気がしませんか？

 

だってめちゃくちゃ楽しそうじゃないですか！

 



 

## ローカルLLMの困難

 

ただ、今の時点ではローカルLLMはなかなか困難の多い世界です。

 

というのも、道具がまるで足りません。

 


### 大規模言語モデル

 

まず先に述べたようにGPT-3.5やGPT-4は非公開モデルです。

 

当然です、今や裕福OpenAIの大黒柱ですからね。(実はGPT-2までは公開されてた)

 

そんなわけで、自宅にチャットAIを作りたいローカルLLM愛好家達は何か他の、GPTシリーズのような大規模言語モデルを各自で用意しなければならないのです。

 

とはいえ、ここはまだ打つ手がいくつもあります。

 

何故なら、ネット上にはOpenAI社のそれに匹敵するくらいの大規模言語モデルが結構無料で公開されているから。

 

有力なのが例えばMeta社の開発するLlama 3 70Bなどです。

 

これはChatGPT無料版を担当するGPT-3.5よりも**圧倒的に**高い、何なら有料版のGPT-4にすら匹敵する程の性能を誇りながら、無料で公開されたモデルになっています。

 

後はNvidia社のNemotron 4 340Bなんてモデルも魅力的です。こちらに至っては先日OpenAI社が発表した最新モデルGPT-4oにも一部で優るほどだとか。

 



 

「なんだ！そんなすごいモデル達が公開されてるなら、ChatGPTなんていらないじゃん。みんな家で専属AIを作ればいい。」

 

と、一見そう思ってしまいます。しかし・・・

 

### PC性能の壁

 

本当の問題はここからです。

 

先ほど「ChatGPTを動かせるほどの性能のPCなんて個人じゃ誰も持ってない」という話をしました。

 

そう、大規模言語モデルを動かすには普通じゃ考えられないくらいの超高性能PCが必要なのです。

 



 

一体どれほどの？

 

それには大規模言語モデル側の「パラメータ数」・・・大きさの単位みたいなものが良い指標になります。

 

例えば先程言及したLlama 3 70Bですが、大体のモデルにはこんな感じで名前の後に「○○B」って数字がつきます。そして、この数がそのモデルのパラメータ数です。単位はBillion・・・つまり○○十億。

 

ということは、Llama 3 70Bなら700億ってわけですね。なんと、性能に比してあまりにも少ないパラメータ数です。効率的だ。

 



 

で、あるPCがこのモデルを動かすに足る性能を持つか否か、先に図るのは簡単です。

 

この"70"という数字を倍の"140"にして・・・

 

で、その数を上回るVRAMのGB数があるかどうか。

 



 

なるほど。

 

例えば今なら、現行の最高性能GPU「RTX4090(30万円ちょっと)」をものの6個も用意すれば達成できるサイズ感ですね。

 



 



 

・・・

 

まあ無理です。

 

無理に決まってます。

 



 

## そこまでして、何の魅力が

 

仮に世の中におかしな大金持ちがいたのなら、このLlama 3 70Bモデルを・・・いやむしろNvidia社のNemotron 4 340Bモデルを動かすために巨大なPCを買うことがあるかもしれません。

 

買うというか、作るというか。

 

ともかく彼は単純計算で24GB×29=696GB、だからRTX4090を29個、都合870万円出して手に入れました。そしてこれらを動かせる特注のワークステーションを・・・まぁ300万円くらいで用意したという事にしましょう。それは彼の資産に比べれば取るに足らない額です。

 

で、それで何が出来るのかというと・・・

 



 

### 1. 無料で使えるチャットAIが作れる

 

まず思いつくのがこちら。ChatGPTを使っていては月に"20ドルも"支払わねばならなかったChatGPT Plusの料金を、なんと自宅のPCでチャットAIを作りさえすれ(エンジニアに数万円で作ってもらえ)ば、今後一生無料で済むのです！

 

一体そんなことに何の価値があるのでしょうか。

 



 

### 2. 絶対に誰にも覗かれない万全のセキュリティを得る

 

では「セキュリティ」というのはどうでしょう。今の日本で生成AI導入を渋る企業はみな口をそろえて、セキュリティ上の懸念を口にします。それはまぁごもっともで、確かにOpenAIの規約を見る限りではとうてい「市場競争力を維持する社内機密情報」みたいなものをChatGPTの小耳にすら挟ませる気にはなれません。

 

もちろんChatGPT Teamsを使う、更にはOpenAI APIを使う、もっと言うならAzureを使う、対策はいくらでもあります。でも「なんとなく怖い」ですからね。

 

社内の統制もとれる確証が無いのなら、代わりに「自社のローカルサーバー上で構築する」というのはとても魅力的な解決法に思えます。そうする限り100％安心です。

 

とはいえ件の彼は別に企業の人というわけでもなく、そんなメリットは享受できなかったかもしれません。というか「絶対にOpenAIには知られてはいけない情報」があり、それをChatGPTに明かすことをとどまった個人が果たしてこの世にどれほどいるでしょうか。

 

・・・あるいは彼は人に知られるにはあまりに恥ずかしい会話をしたい願望があり、自宅スパコンのAIはその良き相手となってくれたかもしれません。

 

それならば良かった。

 



 

### 3. モデルや関連技術の研究・開発ができる

 

とはいえ、結局はこれでしょう。現時点で、前述したような狂気的な投資をしてまでローカルLLMの利用環境を整えるのは、つまり研究開発グループ・・・言ってしまえば程度の差はあれどOpenAIやMetaと同類の存在がほとんどです。

 

2で触れた「絶対に隠したい機密情報がしょっちゅう扱われ、かつチャットAIの有用性を強く認識していて、かつLLMの実行(推論)環境を自社のためだけに構築出来る余裕のある企業」というのもないではないですが・・・しかしごく少数です。

 

現状では個人にしろ、中小企業にしろ、大企業にしろ、本気でローカルLLMの推論環境を整えているほとんどが研究や事業化のためと思われます。

 



 

## だから何の魅力が

 

そんなこと言われたら「じゃあ僕/私はいいや」となりますよね。

 

ただ、最後にこの話もさせてください。

 



 

というのは、この先おそらく想像よりずっと近い時期に、ローカルLLMを一般の誰もが扱う時代が来るんじゃないかと思うのです。

 



 

現状数百万円レベルでやっと月3000円の、むしろ無料のChatGPTに並ぶ程度だったのが、"近いうち誰もがローカルLLMを扱う時代に"？

 

というと、確かに無理があるような気もします。が、

 



 

実をいうと、この記述"現状数百万円レベルでやっと無料のChatGPTに並ぶ"って、ちょっと昔の話です。

 

具体的には、まさに1年弱前の今(2023/7くらい)なら確かにそんな状態でした。

 

しかしそこから2024年の今日にいたるまで、上の3.のグループの人々は日々研究を続け、そして、

 

・LLMの性能を上げる方法
・普通のGPUで従来よりも早くLLMを推論させる方法
・大型のモデルの能力を小型モデルに引き継がせる方法
・LLMの実行に必要なPC性能を大きく下げる方法

 

など・・・あらゆる発見をしてきたのです。

 



 

実際のところ、今の時点でも最高レベルのゲーミングPC(100万円くらい)一台があれば、それなりにChatGPTの代わりが務まる程度のものが扱えます。

 

更に工夫を凝らせば、もっとずっと安価なデバイスでも同様のことが出来るようになりつつありますし、この流れは絶対に不可逆なもので、後はただ誰もがローカルLLMを扱う時代を待つだけです。

 

「2030年になってもGPT-3.5を扱えるスマホが存在するか怪しい」と述べましたが、逆に「スマホで動かせるGPT-4超えのモデル」なら、どう考えたって2030年より早くに登場するに決まっていると思うのです。

 



 

だったら、先に手を出すのが吉とも思いませんか？

 



 

（

 

・・・とここまで書いて、どうもローカルLLMを魅力的に描きすぎたかもしれない。

 

どう考えたって今ローカルLLMの推論環境を整えても金にはならないし、行く先だって不安定。

 

結局はロマンに乗っかる気持ちがあるだけで・・・

 

）

 



 

## まとめ

 

そんなわけで、このブログはこれからもローカルLLMについて扱っていこうかなと思います。

 

皆さんもこの沼に片足だけでも漬けてみるのはいかがでしょうか？

 



 

いつのまにやら長文となってしまいましたが、最後までお読みいただけたなら本当にうれしいです。

 

ありがとうございました！

ローカルLLMとは | ChatGPTとの違い・意味や将来性をまとめて解説

## 自己紹介

 こんにちは、だるまと赤べこです。

 自己紹介です。

 

 この名義では、普段は同じ名前のYoutubeチャンネルでAIの情報発信をしています。このブログはしばらくの間、サブ的な存在。

 最近「何をしてる人なの」という質問をたまに頂くようになったので（ありがとうございます）、ここで簡単に明かしておこうと思います。

 まず私がいわゆる生成AIと関わり始めたのはわりと最近のことです。世間一般よりもほんの少し早く・・・GPT-3が界隈を騒然とさせてから、ChatGPTが発表されるまでの間くらい。

 Pythonに少し慣れていたので、ちょっとした興味で始めた程度のものでした。

 もともとはRPG攻略のAIを作るために機械学習を触っていたんです。

 で、当時「大規模言語モデルってものにゲームを操作させたら中々いいぞ」みたいな潮流があり(この時もっぱら使われていたのはGPT-2・・・今じゃ問題外の性能)、私もそれに乗ってLLMの勉強に乗り出し始めた・・・んだった気がします。

 結局LLMにゲームを操作させる試みはあまりうまくいかなかったんですが(途中で飽きた)、代わりに「LLMがNPCを操作するリアルなRPG」に可能性を感じ始めて、LLMをもっと真面目に勉強してみようと思うようになりました。

 世間が生成AIの価値を認めていくにつれ、関連の仕事も増え・・・今やこの名義の活動だけでなく、本業の方でもLLMと深く関われるようになれました。

 とはいえ、それも視聴者の皆様の応援のおかげです。本当にありがとうございます。

 

 私は専業Youtuberではないために今はそれほど活動的であれるわけでは無いのですが、それでも重要だと思うことを細々と発信していくつもりです。

 これからもよろしくお願いします！

自己紹介

## だるまと赤べこについて


こんにちは、だるまと赤べこです。

普段はYoutube上で生成AIに関する情報発信をしています。特にLLM(大規模言語モデル)が専門。



## このサイトについて
この度サイトを開設しました。ここでは主にブログのようにして、Youtubeで扱わなかった情報を書いていく予定です。

その他にもいくつか考えています。よろしくお願いします。


About

## コンタクト
基本的にはTwitter, メールであれば48時間以内に確認可能です。
Twitterの方がより早く対応できますが、気づかない可能性もあります。長く返信が来ない場合は申し訳ありませんが、再度両方に送信いただければなるべく早く対応します。


## Twitter
[https://x.com/DarmaAkabeko](https://x.com/DarmaAkabeko)

## メール
contact@darmabeko.com

Contact

## プライバシーポリシー

### 個人情報の利用
当ブログではお問い合わせやコメントの際、名前やメールアドレス等の個人情報を入力いただく場合がございます。
取得した個人情報はお問合せに対する返信、連絡時にのみ利用するものであり、これらの目的以外では利用いたしません。

### 広告について
当ブログでは第三者配信の広告サービス(Googleアドセンス等)を利用しており、ユーザーの興味に応じた広告表示のためにクッキー(Cookie)を使用します。
クッキーの使用によって当サイトはお客様のデバイスを識別できるようになりますが、お客様個人を特定可能にするものではありません。

Cookieを無効にする方法やGOogleアドセンスに関する詳細は「[広告 – ポリシーと規約 – Google](https://policies.google.com/technologies/ads?gl=jp)」をご確認ください。

また、だるまと赤べこはAmazonアソシエイト・プログラムに参加しており、適格販売により収入を得ています。

最新の更新

低スペックPCでもローカルで動かせるChatGPT風アプリを作ったよ

だるまと赤べこ, 2024-09-08

Jetson AGX Orinは最高のLLM推論PCになり得るか？

だるまと赤べこ, 2024-08-06

ローカルLLMやAIを扱うために考えるべきPCの要件をまとめた

だるまと赤べこ, 2024-08-04

どうしてChatbot ArenaではGPT-4o miniがClaude 3.5 Sonnetを上回るのか？

だるまと赤べこ, 2024-08-01

論文解説: Foundational Autoraters

だるまと赤べこ, 2024-07-18