5000元组装一台本地运行中、小模型主机，参考配置 （运行DeepSeek、Qwen)
5000元组装一台本地运行中、小模型主机，参考配置 （运行DeepSeek、Qwen)
主板 | 华南X99-F8D + E5板U套装 | 1600元 |
CPU | 英特尔至强E5 2696V3 *2颗 | |
内存 | DDR4 2400MHz 32GB*8=256GB | 1200元 |
固态 硬盘 | 光威（Gloway）M.2接口1TB弈二代 | 400元 |
电源 | 长城 1000DA 金牌巨龙1000W电竞版 | 600元 |
机箱 | 先马 黑洞7 PRO 支持E-ATX主板 | 200元 |
显卡 | RX580 16GB *2 （32GB显存） | 1000元 |
合计 | 5000元 | |
5000元中、小模型主机 DeepSeek、Qwen 各精度模型推荐启动方式
模型名称 | 参数量 | 精度 | 模型大小 | 推荐运行模式 |
DeepSeek R1 | 7b | Q4 | 5 GB | LM Studio纯GPU |
14b | Q4 | 9 GB | LM Studio纯GPU | |
32b | Q4 | 20 GB | LM Studio纯GPU | |
Q8 | 35 GB | Ollama纯CPU | ||
FP16 | 66 GB | Ollama纯CPU | ||
70b | Q4 | 43 GB | Ollama纯CPU | |
Q8 | 75 GB | |||
FP16 | 141 GB | |||
671b | Q4 | 404 GB | 不能运行 (增大虚拟内存可启动) | |
Q8 | 713 GB | |||
FP16 | 1.3 TB | |||
qwq | 32b | Q4 | 20GB | LM Studio纯GPU |
Q8 | 35GB | LM Studio GPU+CPU | ||
FP16 | 66GB | Ollama纯CPU |
C:\Users\Administrator\.lmstudio\models\Qwen\Qwq\qwq-fp16.gguf
Ollama下载模型拷贝到 LM Studio \models 目录下需要建立两层子目录,并改文件格式为.gguf
登录后可发表评论
点击登录