# Jetson AGX Orinは最高のLLM推論PCになり得るか？

 

<img src=/jetson-agx-orin-developer-kit-assets-2c50-d-2x.jpeg>

 

Jetsonという、Nvidiaが直接開発する小型コンピューターのシリーズがあります。

 

「エッジAIデバイス」と呼ばれ、基本的にはロボットやAI関連の研究開発・サービスに用いられる組み込みコンピューターという位置付けの製品群です。

 

あくまで通常のPCとは異なる特定用途の計算機ですから、ローカルLLMという文脈の中では殆ど登場することのない彼らですが・・・

 

実はこれ、LLM推論に最高に相性のいいPCなんじゃないか？

 

ふと思ったので調査してみました。

 


## 結論:
・Jetsonは26.5万円で70BサイズのLLMを推論できる高コスパデバイス
・しかし多くの問題もある
・人によっては使い道があるが、基本的におすすめはできない
## 

 

そもそもJetsonというのは、簡単に言えば「高性能GPU付きのシングルボードコンピューター」です。

 

いうなれば小さくて高性能なLinux PC。

 

「機械学習アプリを目的とした組み込みエッジコンピューティングデバイス」といえば仰々しいですが、特別なことはそんなに無いのです。そんなには。

 

Youtubeも見れるし、ゲームも(一応)出来るし、そしてプログラミングにも使えるよという。

 

それら目的に買うには少し高価格ですが、そこはAI処理特化ゆえです。

 

## Jetson AGX OrinのLLM性能を見る

 

細かいスペックの項目を調べる前に、結果として達成されたLLM性能の一例を見てみます。

 

Nvidiaの公式ブログによれば、このデバイスはLlama 2 70Bという大型のLLMを単独で推論することができ、更にそのt/s(トークン数毎秒)は4.4ということです。(参照: https://developer.nvidia.com/blog/bringing-generative-ai-to-life-with-jetson/)

 

この時点ですごい。

 

なにしろ、RTX4090を搭載するような最上級のゲーミングPCですら不可能なことです。

 

単体GPUとしてこの規模のモデルを動かすにはRTX A6000のようなサーバー向けGPUがスタートラインですが・・・こちらに至ってはGPUだけで60万円程度。

 

半分以下、26.5万円のJetsonがそれを少なくとも実行できてしまうというのは特別な価値です。

 



 

また推論速度についてもそう酷くはありません。

 

公式の仕様書では4.4t/s・・・今の水準ではめちゃくちゃ遅いものの、初期のGPT-4を思えば許容できる範囲です。ちょうど英語で発音会話をするのと同じ程度の速度。

 

ただこれは明らかに理論値、スペックから計算できる最高限の速度に思えます。後述しますが・・・実際に全てのケースで同様に扱えるかは不明です。

 



 

とはいっても、ここまではすごく良く見えます。

 

なにしろLlama 3 70Bモデルを現実的な速度で自宅推論しようと思ったら、普通のPCを買う視点では「PCの基本部品+大容量のマルチGPU」という正攻法か、あるいは50万円〜のMacを買うということになるはず。

 

対してJetson AGX Orinでは26万円一台で全てが完結です。

 

そう考えるとめちゃくちゃコスパの良い選択肢ですよね。

 



 

・・・が、実をいうと逆に弱点もすごく多いのです。

 

ローカルLLMの観点では問題とならない弱点もありますが、そうでないものもいくつか。

 

次以降の項でデバイスの仕様を見て、具体的なメリットとデメリットを比較していきましょう。

 



 

## 性能仕様

 

デバイスのLLM推論性能を見るにあたって重要な情報は、まず何よりもVRAM(GPUメモリ)の容量。次いでVRAMの帯域幅、そしてわずかにGPUそのものの計算性能です。その他、消費電力や価格も。

 



 

で、Jetson AGX Orinですが・・・特殊な点が一つ。

 

ユニファイドメモリを採用しています。

 

つまり、普通のPCではGPUメモリとCPUメモリ(メインメモリ)を別に扱い「VRAMが16GBでメインメモリが32GB」というようにするわけですが、このデバイスに関しては「CPUとGPUで合わせて64GB」となっているんです。

 

なので純粋なVRAM容量を測るということはできないのですが・・・まあLLM推論に限った話をするということで、ここではCPU占有は常に0として計算します。

 

そんなわけで、以下が仕様表です。

 

メモリ(VRAM): 64GB
帯域幅: 204GB/s
TOPS: 275
消費電力: 15W～65W
価格26.5万円～35万円
ストレージ: 64GB Emmc 5.1
アーキテクチャ: ARM64
OS: Jetson OS(Linux for Tegra)

 

それぞれ見ていきます。

 

### 64GBのメモリ

 

LLM推論にはメモリ容量が欠かせません。
LLMに最初の一文字でも生成をさせるためには、基本的にそのモデル自体よりも大きな容量を持つGPUがあるべきです。あるいは複数のGPUを用意すればメモリを合算させて扱う事も可能です。

 

参考として主要な大型モデルの必要メモリは、

 

llama-3.1-70bのq4・・・40GB
mistral-large-2407のq4・・・59GB

 

という感じ。

 

で、Jetson AGX Orinのメモリは64GB。上記のモデルを一台だけで実行させることが可能です。

 

それがこのデバイスの最大の強み。普通この価格帯では絶対に得られない大きさなんです。

 

他のGPUの例を挙げると、

 

・RTX A6000・・・48GB, 約70万円
・RTX 4090・・・24GB, 約30万円
・RTX 3090・・・24GB, 約16万円
・RTX3060・・・12GB, 約4万円

 

というところ。もちろんこれだけではなく、GPUを乗せるPCにも金がかかります。

 

・・・え？RTX3060を5、6個そろえた方が安い？

 

それに関しては後程。

 



 

### 204GB/sのメモリ帯域幅

 

メモリ容量は実行できるモデルそのものに関わりますが、帯域幅はその速度に直接影響します。

 

で、Jetson AGX Orinのメモリ帯域幅は204GB/s。40GBサイズのモデルを扱う場合、理論上の最大値としても一秒間に5トークン程度の生成が限界であるということになります。

 

先ほど見た公式発表が4.4トークン/秒ということだったので、ある程度納得できますね。

 

ただ、この帯域幅はGPUと比べるとかなり遅い部類に入ります。

 

先ほど挙げたGPUでは、

 

・RTX A6000・・・768GB/s
・RTX 4090・・・1008GB/s
・RTX 3090・・・936GB/s
・RTX 3060・・・360GB/s

 

と見事に惨敗。

 

基本的にGPUは帯域幅に比べて容量が少ない状況が多いと思うんですが、AGX Orinに関しては真逆ですね。

 

しかし、低いといえど204GB/s。一般的な最高レベルのメインメモリの二倍程度はあります。

 

普通のGPUに比べては大きく劣るけど、CPUよりは大きく勝るという絶妙なラインです。

 



 

### 275のTOPS

 

TOPSはTera-operations-per-secondの略称で、「一秒間に何テラ回の計算が可能か」という指標です。int8。

 

これはGPUの計算性能そのものを直接示してくれる良い指標です。

 

例によって他GPUと比べると、

 

・RTX A6000・・・619
・RTX 4090・・・1321
・RTX 3090・・・568
・RTX 3060・・・191

 

と・・・一見、殆どに大きく負けているんですが、ここは実際さほど気にしなくて大丈夫です。

 

というのは、LLM推論の場合にはどれも十分すぎるほど高いから。

 

メモリ帯域幅がボトルネックとなるので、どうしたってオーバーパワーなんです。

 



 

### 60Wの消費電力(TDP)

 

地味にすごい数値です。

 

LLMの推論をするPCといったら普通は大型家電並みの消費電力のはずで、

 

・RTX A6000・・・300
・RTX 4090・・・450
・RTX 3090・・・350
・RTX 3060・・・170

 

とGPUだけでも文字通り桁が違います。（しかもPC本体の消費電力は別にかかってくる）

 

対してJetson AGX Orinは全部込みで15～60Wですから、ちょうどエアコンと扇風機くらいの差。

 

先ほどの性能比でみても圧倒的に高コスパであることが分かります。

 

ただ問題は・・・趣味目的程度であれば、LLMの推論をしている時間なんて一日のうちわずかでしょう。実際に電気代を問題視するかはかなり微妙なところです。必要ならGPUに電力制限をかけることもできますし。

 

業務用などで常時回しておく必要があるならうれしいかも。

 



 

### 26.5～35万円の価格

 

価格の幅は購入側の所属によって決まります。学生、教育関係者、研究者は26.5万円。それ以外は35万円。

 

これがかなり難しいラインです。26.5万円として、メモリあたりの価格は0.4万円。

 

もう一度他GPUを見返すと、

 

・RTX A6000・・・48GB, 約70万円, 1GBあたり1.45万円
・RTX 4090・・・24GB, 約30万円, 1GBあたり1.25万円
・RTX 3090・・・24GB, 約16万円, 1GBあたり0.7万円
・RTX3060・・・12GB, 約4万円, 1GBあたり0.3万円

 

ということで、Jetsonもかなり安い部類であることには違いがありません。しかも全部入りですから。

 

ただ、メモリ帯域幅の低さを見ると・・・もう少し予算を増やして、例えば圧倒的に高性能なRTX3090を二台買うとか、RTX3060を6枚そろえるとか(かなり無理があるけど)の構築の方が結果的に良い気もしてきます。

 

とりわけ、もともと巨大なデスクトップPCを持っているなら追加の費用もかかりませんし。（無い場合は安く見積もって+10万円）

 



 

### 64GBのeMMCストレージ

 

よく考えるとこれはひどいです。iPhone 4s(2011年発売)と同じ容量。実質VRAMとストレージが同サイズって。

 

これじゃあ使い物にならない・・・んですが、ただこのデバイスはSSDのNVMe接続がサポートされているので、その気になれば最新レベルのストレージを付け足せます。

 

というか、基本価格に+1万円を見込んでSSD追加を前提としておいた方がいいかもしれません。

 



 

## 専用OSのJetsonOS

 

さて、ここからが良くも悪くもJetsonの本領発揮です。

 

このデバイスはPCの一種ではあるものの、WindowsやMacといった一般的なOSは搭載できません。

 

JetsonOSというUbuntuベースの専用OSが用意されているんです。

 

なのであなたがWindowsやMacユーザーである場合、根本的な操作そのものに不自由を感じる可能性があります。

 

とはいえ、LLM推論を本格的に進めていくなら結局はUbuntuのようなLinux OSを扱うことになるでしょう。そう考えるとそこまで問題ではない気もします。

 

しかしUbuntuにすら慣れていない状態でこの独自OSに触れるのは、殆どの人にはちょっとした挑戦になるかもしれません。

 



 

### ARM64アーキテクチャ

 

もう一つ言及しなければならないのがこれ。

 

アーキテクチャ・・・これは簡単に言えば、PCとしての根本的な設計そのものの話です。普通のほとんどの（家電量販店や大学生協で売られているような）PCはx86-64アーキテクチャというもので設計されています。

 

Jetsonはそうではなく、主にスマホやゲーム機で用いられる方のARM64アーキテクチャを採用。

 

これが何を意味するかというと、普通のPC用に作られたソフトなどの多くが使えないということになってしまうんです。

 

まあLLM推論に関しては現状は特別問題でないと思いますが、しかし他の一般的なソフトなどを使う時には大きな懸念点です。

 

先日発表されたSnapdragon Xなど、ARM64を採用したPCも流行りつつあるようですが・・・今はまだ、簡単におすすめ出来るものではないかも。

 



 

## 強みと弱み

 

さて、そんなわけで大体の評価はまとまりました。ｃ

 

#### 強み:
メモリの巨大さ
低い消費電力
超小型

 

#### 弱み:
メモリ帯域幅の低さ
Ubuntuベースの独自OS
ARM64アーキテクチャ

 



 

これを踏まえて、他のありえそうなPC構築例との比較をしたうえで結論を出そうと思います。

 



 

### 比較元: Jetson AGX Orin
予算: 26.5万円(35万円)
メモリ: 64GB
帯域幅: 204GB/s
TOPS: 275
TDP: 60W

 

### vs. RTX 3090 x2 デスクトップPC
予算: 45万円
メモリ: 48GB
帯域幅: 936GB/s
TOPS: 568
TDP: 約900W

 

評価: 現時点で最推奨の構築との比較。ただし割引視点で見て倍近くの価格差です。メモリは48GBと少ないですが、帯域幅(≒生成速度)なら四倍以上と天と地の差です。大型モデルを高速に扱いたい場合は絶対にこちら。
とはいえ消費電力は1/15なので、待てる時間さえあれば最終的にはコスパでJetsonの勝ちです。

 

### vs. RTX 3060 x5 マイニングリグ
予算: 28万円
メモリ: 60GB
帯域幅:　360GB/s
TOPS: 191
TDP: 約1000W

 

評価: 理論上最も高コスパな構築との比較。RTX3060を5枚も挟めるデスクトップPCは存在しないので必然的にマイニングリグか、野ざらしにライザーケーブルを使うことになります。
理論上はほぼ同額で同等のメモリを得、更に帯域幅は倍近くです。
理論上は。実際にはこれ、尋常じゃない構築です。
取り巻く数多くの問題については専用ページで取り扱います: (未投稿)

 

### vs. 中古P40 x2 デスクトップPC
予算: 15万円
メモリ: 48GB
帯域幅: 347GB/s
TOPS: 47
TDP: 700W

 

評価: 旧式サーバー用GPUであるP40の中古を使う方法です。BIOSの設定やCUDAの対応、ビデオ出力の問題など数多くの問題を解決できるのならばコスパ最高ですが・・・ここではスルー。いろいろと知識が必要な構築です。

 

### vs. M2 Max Mac Studio
予算: 35万円
メモリ: 64GB
帯域幅: 400GB/s
TOPS: 15.8
TDP: 約145W

 

評価: 実はMacはLLM推論にめちゃくちゃ向いてます。メモリはAGX Orinと互角、帯域幅の高さは倍、そして価格は少し上です。ただ20倍近いTOPSの差は・・・LLM推論ですら差があるだろうし、他の用途も考えると本当に「ローカルLLM推論マシン」として扱う覚悟が必要です。CUDAを使えないのも非常につらい。

 



 


## 結論

 

あんま良くない、微妙かも・・・

 

確かに26.5万円で70Bサイズのモデルを動かせる、超小型、省電力、数多くのメリットはあります。

 

しかし予算を増やせばもっとずっと良いものが手に入るということ、その気になれば価格面でもより良い選択肢があることなど、冷静になってみるとこれを選ぶケースってかなり稀な気がします。

 

小型モデルを常時推論する業務目的での使用や、すさまじく長い時間をかけて学習を行う場合、あと持ち運んでカフェで使う必要がある場合などには良いかもしれません。

Jetson AGX Orinは最高のLLM推論PCになり得るか？

ローカルLLM/AIを扱うために必要なPCスペックやその他の要件まとめです。
それぞれ専用ページを作る予定なのですが、時間をとれなかったので1ページに集めました。

 

この記事ではシンプルで箇条書きですが、根拠や詳細は個別ページにて書き足していく予定です。

 

質問などございましたらコメント欄にお願いします。

 


## 前提
ローカルPC上でAIを扱うにあたって重要なのは、
・GPU
・マザーボード
・メモリ
・電源

 

またPCとして当然に必須なのが
・CPU
・ケース

 

となります。
それぞれ見ていきましょう。

 



 

## GPU
要素:
・計算性能
・VRAM容量
・VRAM帯域幅
・分厚さ
・消費電力

 

### 計算性能:
どれだけ早く計算するか。TOPSやFLOPSなど、数値が大きいほど良い。LLM推論においては最初の1トークン生成に大きく影響し、喋り始めてからはあまり関係ない（後述の帯域幅がボトルネックとなるため）。

 

初動の速さを最重視するなら重要だがそうでないならあまり気にしない項目。ただし学習を行う場合, 画像生成等のAIを利用する場合には大切。

 

### VRAM（GPUメモリ）容量:
GPUに搭載されている専用メモリの容量で、AIでは最も重要な項目。単純にメモリより小さいサイズのモデルは動かせないので、この容量がどれだけ大規模なモデルを使えるかを決定する。

 

ただし大体の推論フレームワークでは、複数のGPUを搭載すればそのメモリを合算して扱える。

 

一部GPUでは同じ製品名(例えばRTX 3060)でVRAMの異なる複数モデルが売られているので注意。

 

### VRAM帯域幅: 
AIの推論速度に影響。特にLLMの場合この数値がほとんど全て。1トークン生成にモデルサイズ分の通信を行うので、帯域幅が500GB/sでモデルサイズが100GBなら1秒間の生成トークン数は5。

 

### 枚数
主には動かしたいモデルの大きさに対して必要なVRAM量を計算し、GPUを何枚買うか決める。

 

例えばRTX3090(24GB)+RTX4060(16GB)で合計40GB、Llama 3.1 70B_Q4の必要VRAMが39GBだからギリギリ実行でき・・・ない。

 

余裕をもってRTX3090+RTX4070(12GB)+RTX3070(8GB)くらいが必要。ただし複数枚のGPUが物理的にPCに入るか(マザーボードとPCケースとGPUによる)どうかを調べておく必要がある。

 

### 分厚さ
普通はほとんど気にしない要素だが重要。今の構成が物理的に組み立て可能なのか、今後GPUの追加を見込むとどうなるのか。

 

薄ければ薄いほどいいが、基本的に分厚いほど価格性能比がいい。

 

スロット（20mm弱）単位で換算し、3スロット(60mm)GPUは1スロットGPU(20mm)の3倍分厚い。

 

### 消費電力
TDP。これに対して1.5倍以上のW数を持つ電源が必要だが、電力制限をかければ省電力も可能。

 



 

### おすすめの製品
[RTX 3090](https://amzn.to/4c6cnmc)：VRAM24GB, 帯域幅936GB, 17万円
[RTX 4060 Ti 16GB](https://amzn.to/4fx1OM0)：VRAM16GB, 帯域幅288GB, 7.5万円
[RTX 3060 12GB](https://amzn.to/3AdM8gA)：VRAM12GB, 帯域幅360GB, 4.5万円

 



 

## マザーボード
要素:
・一般用/マイニング用/ワークステーション/サーバー用のどれを買うか
・規格
・PCIeスロット
・対応メインメモリ
・対応CPU

 

### 一般用/マイニング用/ワークステーション/サーバー用
基本的に一般用ボードを買う。

 

マイニング用を買うならGPU使用に関する全ての悩みから解放される。低性能CPUと低性能メモリにしか対応してないのが殆どだけど、高いGPUを用意すればそんなに問題ない。ただし基盤むき出し、巨大、専用電源などの問題がある。居住環境と相談。

 

ワークステーション/サーバー用に関しては話すことが多すぎるので別記事で。普通は価格面で不採用。

 

### 規格
マザーボードのサイズの規格。大きい順にE-ATX, ATX, MicroATX, mini-ITXと定められている。
GPUをたくさん挿したいので大型のE-ATXかATXをおすすめ。そのどちらかは好きなほうでいい。

 

### PCIeスロット
GPUとかを挿す場所。これが多いほど多くのGPUを挿せる。x16やx4といった通信速度の差があるが体感的にほぼ影響しないので無視。

 

それより問題は物理的なスロットの幅。x16幅のスロットだけにGPUを挿せる。なのでとにかくx16幅のPCIEスロットがたくさんあるマザーボードを買いたい。

 

ATX, E-ATX規格なら理論上は最大7つのスロットが作れるが、実際はもっと少ない。そして例えば3スロット幅のGPUであれば、1スロット目に挿しただけで1～3スロットを占有してしまう。
7スロット目に挿した場合は下にはみ出るので他のスロットを邪魔しない。ただ基盤と干渉することもある。

 

### 対応メインメモリ
主にCPUが使う方のメモリとの対応。DDR5(速い)かDDR4(速くない)かDDR3(遅い)から選ぶ。

 

基本的にGPUを使うはずのAI推論時には関係ないが、上述のVRAMより大きいモデルをメインメモリにはみださせて実行できる場合がある。一段と遅くなるが、その中ではメモリ性能で重要な差が生まれる。

 

資金に余裕があればDDR-5対応のものを。なければDDR-4でも問題ない。そもそも今の時点ではVRAMに収めるのが基本。

 

### 対応CPU
購入するCPUに対応するマザーボードが必要。動画編集など特定の目的があったり先にCPUを用意してる場合はそれに合わせる。なければ、あくまでLLM推論にはほぼ関係なので好きなものにすればいい。古いと肝心のCPUが売ってないこともあるので確認だけしてから。

 

### おすすめの製品
[MSI MAG H670 TOMAHAWK WIFI DDR4](https://amzn.to/46NNWcp)：2, 5, 7スロット目にx16幅のPCIeスロットがある。
[ASRock Z790 Taichi](https://amzn.to/3LOvUN8)：2, 5, 7スロット目にx16幅のPCIeスロットがある。DDR5対応。

 



 

## メモリ
マザーボードに対応する世代のなかで、DDR5-4800の4800みたいな数字の部分ができるだけ大きいやつを2枚だけ買っておくとメインメモリはみ出しの際に速い。しかし一般的なPCのメインメモリでの推論はまだまだ遅いのでそう気にしない。

 

RDIMMじゃなくてUDIMMを選ぶ。

 

DDR4なら2枚以上の2の倍数で好きな数、容量に合わせて。
DDR5なら必ず2枚だけセットで購入。それより少なくても多くても遅くなる。

 

### おすすめ: Amazonで安くて評価高いやつを探す

 

[DDR5](https://amzn.to/4c5VPuA)：高速で高価格。
[DDR4](https://amzn.to/3YtYCdO)：DDRの半分ちょっと上くらいの速度で安価。

 

### 選べない場合
DDR5：[Kingston FURY DDR5-5200](https://amzn.to/46vFzC0)
DDR4：（後で探します）

 



 

## CPU
なにも気にしなくていいくらい。

 

ただし巨大なモデルをメインメモリにはみ出させる場合は高価なCPUを買うことで、

 

「ゆっ...............くり」

 

から

 

「ゆっ...........くり」

 

くらいに短縮できるかもしれない。

 

### おすすめ: 使うマザーボードに対応してる安いやつ。他の用途もあればそちらに合わせて選ぶ。

 



 

## 電源
以上の内容から決めた各パーツに対し、それぞれのTDPを合算した数×1.5倍のW数のものを選ぶ。複数の電源をアダプタ使用して連動させることもできる。

 

ただし日本の一般的なコンセントは1セットあたり1500W、1部屋の合算で2000W、1物件の合算でもいくらかの制限がある。エアコン用だったら部屋とは独立して2000Wとか使えることもある。

 

だから基本的に〜1500Wのものを一つだけ買う。大量のGPUを搭載する場合には二部屋から２つ繋ぐとか、エアコン用電源に2000Wのものを繋ぐとか。

 

複数のGPUを使うときはこの電源と物件が問題になってくる。GPU側に電力制限をかければ性能は少し落ちるが可能な範囲内に収まるかも。

 

GOLDとかBRONZEとかは言われるほど気にすることないけど、余裕があればいいものを。

 

火事が怖いのでメーカー選び大事。有名どころならOK。

 

### おすすめの製品
[Thermaltake TOUGHPOWER GF3 1200W](https://amzn.to/46NOaQN)：安くて高性能、信頼のメーカー。
[玄人志向 80Plus GOLD 850W](https://amzn.to/3AauOc8)：安い。信頼のメーカー。

 



 

## ケース
PCの構成を決めたら、それを収まるケースを選ぶ。

 

基本的にみるべき点は
・どの長さのGPUに対応しているか。350～であれば確実に大丈夫
・マザーボードの(E-ATX, ATXなら)7スロット目にどれほどの空間があるか
・冷却性能
の３つ。

 

結論としては大きくて空気穴が多く、ホコリが入らないものほど良い。
またギリギリGPUが収まってもファンが窮屈だと性能低下することにも注意。

 

### おすすめ
[Fractal Design Meshify 2 XL TG](https://amzn.to/3WuAdT2)：大きい。E-ATX/ATX対応。電源２つ入る。縦GPU配置で空間に余裕持たせられる。エアフロー良し。HDD大量に載せられる。
[LIANLI O11D EVO RGB](https://amzn.to/3WKTP6x)：E-ATX/ATX対応。デュアル電源対応。水平GPU対応。見た目がかっこいい。

ローカルLLMやAIを扱うために考えるべきPCの要件をまとめた

こんにちは、だるまと赤べこです。

 

ここではやむを得ない事情により中古のGPUを購入しなければならない事態となった方に向け、そのリスクを少しでも低減させるためのいくつかの指針とアドバイスを書き留めます。

 

**絶対に、絶対に責任はとりません。**ご了承いただける場合のみ、あくまで参考程度にこの続きを読んでいただければ嬉しいです。

 



 

## 大前提

 

まず中古GPUを購入するというのは非常に危険な選択です。そもそもが精密機械なうえ、無理をさせれば簡単に摩耗します。前所有者の用途が趣味のゲームであれば多少はマシなものの、もし24時間365日3年間メンテナンスもなしに酷使されていようものなら、もうそれは仮に動くとしてもほぼ死にかけといって良い状態でしょう。そしてそんな代物が一切の申告なく、新品と同じ外観をして売り出されているのが珍しくもありません。

 

個人的に中古で購入すると痛い目に合う(合った)PCパーツの断トツ一位がGPUです。

 

ただ、それでも買ってしまうのは・・・とにかく安いんですよね。

 

安いし、新商品の投入の早さゆえに「新品が買いたくても売ってない」状況はざらにありますし。

 

そのために危険を承知の購入者も後を絶ちません。

 

というか、私もその一人です。

 



 

### 考慮1. 機械学習とゲーム

 

生成AIとゲームでは求められるスペックがかなり異なります。

 

特に限られた予算の中で選ぶ場合、機械学習で重要とされるVram容量や帯域幅、対応ドライバなどはゲーム用途ではわりと無視されます

 

例えば中古12万円程度で買えるRTX 3090はゲーム用途としては無駄に高額で非効率だけど、AI用途ではVRAMのおかげで最強レベル。

 

逆にRadeonの中古新型モデルはゲーム用途としてはベストでも、AI用途では使い道が少ないです。

 

そんなわけで「とりわけ機械学習向け」のGPUを買うことは重要です。その分割安で手に入れられる確率が高くなります。

 



 

### 考慮2. 機械学習とマイニング

 

ただ、重要な懸念事項もあります。

 

上述した機械学習用の特性というもの、どうも全てマイニング向きGPUの要件と被るみたいです。

 

「とはいえ、今となってはマイニングなんて時代遅れ。それを目的に買う人なんていないだろう・・・」

 

ですが、しかし今から購入する中古GPUがもともと何に使われていたかはよく気にする必要があります。

 



 

## おすすめの買い方

 

以上の前提と考慮を踏まえつつ、私が個人的に好む中古GPUの購入方法を説明します。

 



 

### Ebayで長期間保証付きのGPUを買う

 

まず一番おすすめの方法。Ebayです。

 

Ebayというのは国際的な売買ができる巨大ECサイトです。ヤフオクのように個人がオークション形式で販売していることもあれば、わりとしっかりした企業が主な販売手段として利用していることもあります。

 

そして、実はここでGPUが結構売っているんです。多くはRefurbished・・・中古の再生品ですが。

 

まあ、再生品というのが実際にどんな工程を経たものなのかは分かりません。分かっても信用なりません。

 

ただ言えるのは、実際に動くGPUが保証付きで安く大量に売られているということ。

 

例えばこのショップ「[Respec.io.Store](https://ebay.us/UBzjlY)」であれば、販売するすべてのGPUに「30日間の無料返品+1年間のショップ保証」が適応されています。

 

うち30日間の方はEbay側が管理する返品規約なので安心度は高いですし、1年保証の方も悪い噂は聞きません。

 

価格はメルカリの相場より少し高いけど、大手ショップの中古相場よりは少し安いくらい。

 

例えば[RTX 3090](https://ebay.us/xisQJW)で829.95ドル＋配送43ドル、今なら14万円くらいなど。

 



 

で、これはただのおすすめですが、Ebayにはこんな感じのGPUショップが他にもいくつかあります。

 

送料込みでも国内相場と比べて全然見劣りしませんし、配送も2週間程度と・・・まあ個人的には許容ラインです。

 

そう考えると、保証分も含めればかなり安いんじゃないかな。

 

とにかく、問題があれば返せばいいというのが大きいです。

 



 

### 保証付きの品を買う

 

もともと基本的に全てのGPUにはメーカー保証がついています。が、有名どころは全部「譲渡した時点で失効」なのでこれには頼れません。

 

ただ、場合によっては販売店側が追加での保証をしていることがあります。3年、5年など・・・こちらにはまだ希望があります。

 

もちろんメーカーと同じ譲渡禁止の制約があることも多いですが、それに言及していない場合もあります。詳細は省きますが、とにかく動作不良に対する保証があるGPUならば最も安心して購入できるでしょう。

 

（たまにメーカー保証ありなどという出品者がいますが、とにかく譲渡した時点で失効することに注意してください。後は交渉しだいです）

 



 

### 未開封品を買う

 

中古じゃなくない？というのはさておき、保証がない場合に唯一安心できる購入方法がこれです。

 

まあ、もちろん未開封の箱の中で最悪な何かが起きている可能性は否定できません。

 

ただ現実として、期待値としては上の保証付き品や再生品よりもずっと高いパフォーマンスを長期間にわたって維持できそうではあります。

 

メルカリのような個人取引でもある程度の信頼性もあります。なにしろ未開封という嘘はつけませんから。

 

問題はそこまで安くないってこと。

 

それでも、例えば日本のAmazonなら新品の[RTX 3090](https://amzn.to/45Zb07D)が19万円弱で売っているとか、[アメリカのAmazon](https://amzn.to/45MMMgK)なら送料込みでも1100ドル弱ともう少し安いです。元値が32万円以上であったことを考えると悪くない選択肢かもしれません。

 



 

### 知り合いから買う

 

少しせこい提案ですが、知り合いから買えるものならそれが一番です。ふだん嫌われていなければ正直に状態を教えてくれるだろうし、少し割引してくれることもあるかもしれません。初期不良なら返品させてくれるかも。

 

ただ、そんな友達がいないとそもそも使えない手です。

 



 

## やるべきこと集

 

次に、GPUを中古で購入すると考えたときにやるべき広範な事項を説明します。

 



 

### 買う前: 以前の用途を知る

 

なかなか難しいですが、そのGPUの現在の状態を測るうえで重要な情報です。できる限り収集しましょう。

 

まあ中古品店などでは絶対にわかりませんが、メルカリやヤフオクでは「〇年ほど○○に使用していました」みたいな記述があるはずです。無かったらアウトです。あったとして、書かれている内容がマイニングやGPUレンタルであれば確実にアウトです。

 

そしてもし「全然使ってません！」などであればアウトよりの不明ということになります。

 

そうなると、あとはもう予想するしかありません。

 

他の出品物が軒並み金持ちの個人の私物っぽいとか・・・
明らかに情弱向けのBTOパソコンを丸ごと出品してるとか・・・
超高級な水冷化など愛を感じる扱いをしているとか・・・

 

いや、どれも正直なんの確信も持てない情報に過ぎないのですが、それでも安心のおまじない位にはなるはずです。

 

逆に過去出品の中にマイニングリグなどがあったら120％アウトですしね。

 



 

### 買った後: 負荷テストをする

 

掘り出し物を見つけて購入、いざ起動してみたら・・・幸運！なんの問題もなく動作。

 

でも、そこで終わってはいけません。

 

そのGPUの保証期間は1か月、それとも一週間ですか？あるいは0日でしょうか？

 

いずれにせよ、今すぐに負荷テストを行ってください。

 

負荷テストというのは文字通り、GPUに対してひたすら強い負荷をかけてみることです。

 

例えばネットのゲーム用ベンチマークとか、ローカルLLMに延々としゃべらせ続けるとか、画像生成AIをノンストップ設定で動かし続けるとか、とにかく長時間・・・できれば一日程度は動かせ続ける何かを使ってみてください。

 

わりと壊れます。

 

壊れたら初期不良として即返品です。この状況なら応じざるを得ないはず。

 

逆にここを生き延びたら、ある程度は信用していいかもしれません。

 



 

### 問題発生後: 覚悟する

 

もし購入したGPUに問題があり、予定していた運用ができないようであれば覚悟してください。

 

ここでいうのは、大金をあきらめる覚悟というよりも「何が何でも返品させる」という方の覚悟です。

 

相手が企業であればそう問題にはならないかもしれません。

 

ただ相手が顔も知らない個人であった場合・・・これはもう腹をくくって、

 

とにかく毅然と、何が何でも絶対に返品させるという気合で挑むしかありません。大丈夫、日本なら勝てる可能性の方がずっと高いです。相手に何を言われても矛を収めず、代金が返ってくるまで絶対に争ってください。

 


## やってはいけないこと集

 

反対に中古GPUの購入にあたってやってはいけないことを並べます。

 



 

### メルカリ, ヤフオク等で一番安いやつを買う

 

絶対にやめましょう。あまりにリスクが高すぎます。

 

そもそもメルカリで買うということ自体が推奨しにくいのですが、もしそうするにしても「安い」は理由として最悪です。

 

「中古完動品。ちょっとしか使ってません。念のためノークレームノーリターンでお願いします・・・」

 

こんな説明になんの証拠もありません。

 

はっきりしたことを言っていなかったら、マイニングリグに幅0センチで敷き詰められて3年間メンテなしフル稼働させられた焼け残りみたいなGPUなんだと考えた方が賢明だと思います。

 

もし「ゲーム用途で・・・」などと言っていたとしても、それを信じるか否かは購入者次第です。嘘をついていたとしても見抜くことは絶対にできず、そして嘘をつくメリットは大きいです。

 

かろうじて信用に値するのが、先ほども言及した未開封品。ただしこれも動作確認は必須です。(偽物GPUというもののも存在します)

 



 

### 保証期間の短いPCショップで買う

 

大手PCパーツ店は中古品も取り扱っていることが多いです。「企業なら個人のメルカリよりは安心かな」というのは間違いではないのですが、ここでも気を付けることがあります。

 

それが保証期間です。

 

例えば保証1週間なら、もしかしたらそのGPUは購入8日後に壊れてしまうかもしれません。

 

というのは言い過ぎですが、その確率がわりと無視できないレベルで存在するのは確かです。

 



 

## まとめ

 

というわけで、以上が私の個人的な中古GPU購入における指針でした。

 

結論としては、よっぽどの魅力がない限りは価格面でEbayのショップを、安心面でAmazon販売の新品を購入することをおすすめします。

 

まあ・・・金があれば新品を買えばいいんです。

 

ただAI用途では「金があれば中古品を二つ買う」というのがより良い選択肢になることもあります。

 

そんな中で少しでも被害が減るようにとこの記事を書きました。

 

この記事の情報がお役に立てれば幸いです。

 

それでは、最後までお読みいただき本当にありがとうございました！

ハードウェアカテゴリの記事一覧

Jetson AGX Orinは最高のLLM推論PCになり得るか？

だるまと赤べこ, 2024-08-06

ローカルLLMやAIを扱うために考えるべきPCの要件をまとめた

だるまと赤べこ, 2024-08-04

中古GPU購入の指針とアドバイス【機械学習, 生成AI用】

だるまと赤べこ, 2024-06-28