RTX5060Ti16GB 投稿
- 22投稿者：ChatGPT君に聞いてみた 08/24(日) 16時56分52秒
- ローカルでLLM（大規模言語モデル）をPC上で動かす場合に必要なものを整理しますね。
⸻
🔧 必要なもの
1. PCのハードウェア
• CPU
→ 中規模モデル（7B〜13Bパラメータ程度）なら最新のマルチコアCPUでも動作可能。ただし推論速度は遅い。
• GPU（推奨）
→ NVIDIA GPU（CUDA対応、VRAM 8GB以上）が一般的。大きなモデルほどVRAMが必要。
→ 例:
• 7Bモデル → VRAM 6〜8GB
• 13Bモデル → VRAM 12〜16GB
• 30B以上 → VRAM 24GB〜 or CPU/RAMで分散推論
• メモリ(RAM)
→ CPUで動かす場合はモデルサイズと同等かそれ以上のメモリが必要。
• 7B → 8〜16GB
• 13B → 16〜32GB
• 30B → 64GB以上
• ストレージ
→ モデルファイルは数GB〜数十GB。SSD推奨。
なるほど
タイトル