本地跑大模型的机器
本地推理的第一约束是显存容量，不是算力。这张清单的顺序是：先确定要跑的模型和量化等级 → 算出需要多少显存 → 再看预算够买哪张卡。顺序反了就会买到「跑分很高但装不下模型」的卡。
总预算
约 15,000–25,000 元
适合谁
要在本地跑 7B–32B 模型做推理、微调或数据不出内网的场景
方案只固定「该买什么品类、预算多少、怎么挑」；下方商品从实时商品池按预算区间现取， 价格随平台变动，下单前以商品页为准。
粗略对照（4bit 量化）：7B 约需 6GB、14B 约需 10GB、32B 约需 20GB、70B 约需 40GB，另加 2–4GB 给上下文。所以 16GB 卡能舒服跑 14B、勉强跑 32B；要跑 32B 以上就得 24GB 或双卡。同代卡里显存大的那款，往往比算力高的那款更有用。
避坑别买 8GB 卡指望跑 14B —— 量化到 4bit 也会 OOM，最后只能跑 7B，等于白买。
8口嵩睿8屏多屏显卡8HDMI2x4游戏8K视频4K拼接1x8融合1x6W600
AI算力显卡RTX5060Ti RTX4060Ti RTX3060 人工智能公版涡轮图形卡
64GB 起步。CPU 卸载（offload）是显存不够时的兜底手段，但它吃系统内存，且速度慢一个数量级 —— 宁可显存够、不要靠 offload。
避坑别为高频内存加价。推理瓶颈在显存带宽和容量，不在内存频率。
电源按「显卡功耗 × 1.6 + 其余 150W」估，留足余量 —— 推理是持续满载，不是游戏那种间歇负载。机箱选风道好的，双卡方案要注意卡间距和散热。
避坑别用杂牌电源带高功耗卡。持续满载下电源是最先出问题的部件。
月蚀机箱直插itx机箱小机箱台式电脑机箱小型sfx电源便携式diy
嵩睿高性价比GTX1060 6G 5G 3G半高刀卡办公游戏显卡单槽2U小机箱
一个 32B 的 4bit 模型约 18GB，加上多版本、数据集、检查点，1TB 很快就会满。系统盘和模型盘分开更省心。
苹果手机外接存储2t固态移动硬盘u盘iphone专用1t存照片神器备份
十铨 X2 MAX移动固态硬盘SSD无线外接式双接口电脑手机适用USB3.2
持续满载的散热要求高于游戏场景。机箱风扇按正压（进风多于出风）配置，能显著减少积灰。
JCPalTypeC扩展坞适用华为苹果USB集分线HUB雷电3HDMI电脑转换器拓展坞分接器60HZ七合一4K
JCPal本朴扩展坞Typec笔记本USB3.0分线多接口转换器转接头适用于苹果笔记本电脑MacBookPro华为iPad扩展坞
常见问题
- 16GB 显存能跑多大的模型？
- 4bit 量化下，16GB 可以舒服跑 14B（约 10GB 权重 + 上下文），32B 需要部分卸载到内存、速度会掉到每秒几个 token。如果目标就是 32B，直接上 24GB 更省事。
- 为什么不用 Mac 统一内存？
- Mac 的统一内存确实能用更大容量跑模型，带宽也高；代价是生态（部分推理框架支持滞后）和无法升级。如果只需要推理、不需要 CUDA 特定算子，Mac 是合理选择；要做微调或跑特定框架，N 卡生态更稳。
- 量化会损失多少效果？
- 4bit（如 GGUF Q4_K_M）在多数任务上与原模型的差距很小，日常问答和代码补全基本感觉不到；但数学推理、长链推理这类任务对量化更敏感，需要 8bit 或原精度。
其他配置方案
- 12,000 元配一台主力开发机约 12,000 元（含主机）