想在自己电脑上跑大模型，大家最先问的通常是“需要多少显存”。但参数量只是第一层。7B模型可以8GB显存跑，也可能因为高精度和长上下文占到更多；32B模型经过4bit量化后也能进入消费级多卡或大显存设备。真正估算时，要同时看模型权重、量化精度、上下文长度和KV Cache。7B代表大约70亿参数，14B是140亿，32B是320亿。参数越多，模型权重占用通常越大。但实际显存取决于每个参数用多少bit存储。

FP16大约每个参数2字节

粗略估算，7B FP16权重约14GB，14B约28GB，32B约64GB。实际还需要额外运行空间，所以不能刚好等于显存容量。7B 8bit大约7GB级别，14B约14GB级别。再加KV Cache和框架开销后，需要留出余量。4bit量化可以让7B模型落到约4GB左右权重，14B约7—9GB，32B约16—20GB级别，具体取决于量化格式。量化越激进，速度和质量可能有一定变化。

上下文长度会吃额外显存

模型加载成功不代表能开很长上下文。上下文越长，KV Cache越大，尤其是大模型和多轮聊天。8K、32K、128K上下文的显存需求差别可能很明显。

选显卡时先按量化精度估算模型权重，再为KV Cache、运行时缓冲和并发留出余量。一个量化模型勉强能加载，并不意味着它能在长上下文中稳定服务。

并发也会增加占用

一个人聊天和同时服务10个请求不是一回事。本地个人使用可以把显存主要给单会话，做服务器则要给并发留下空间。更适合4bit的7B/8B模型，或者更小模型。可以做聊天、轻量代码、简单RAG。想跑14B也可能通过CPU内存分担，但速度会下降。

12GB到16GB显存更灵活

可以比较舒服地跑7B高精度或14B 4bit，一些较小多模态模型也有机会。这是本地AI比较实用的区间。

24GB显存可以进入更大模型

24GB可以尝试32B 4bit，或者给14B留出更长上下文和更大余量。实际速度还取决于显卡算力和内存带宽。模型文件需要从硬盘加载，CPU offload也会使用系统内存。只有显存够、内存太小，同样会影响体验。真正使用还要看每秒生成多少token、首字延迟、上下文长度、温度和并发。一个勉强能加载但每秒1个token的模型，实际体验可能很差。个人聊天、代码辅助、知识库、图像理解，对模型规模要求不同。不是参数越大越好。如果你更关心本地和云端怎么选，可以看本地AI和云端AI怎么选。

单人短对话和多用户图文会话对显存的需求完全不同。应先确定预计的上下文长度、并发和图像输入频次，再决定是否需要更大显卡。

还要考虑你准备跑多长时间

偶尔测试模型和每天长时间本地运行，对硬件要求也不同。显卡满载会带来温度、噪音和功耗，笔记本更容易因为散热降频。如果准备把本地模型当长期工作工具，不只要算“显存够不够”，还要看持续速度、散热、电源和电费。能稳定跑几个小时，比短时间勉强加载更重要。

跑RAG或Agent还要给上下文留额外空间

本地模型不仅要加载权重，还可能同时保存长对话、检索文档和工具调用结果。做RAG知识库时，KV Cache占用通常会比简单聊天更明显；跑Agent时，多轮工具结果也会持续增加上下文。因此硬件规划不要只按“模型刚好能加载”来买，最好给真实工作流预留足够余量，否则模型虽然能启动，却只能开很短上下文。

一个简单估算原则

先算权重占用，再至少留20%到30%余量给KV Cache和运行框架。需要长上下文时再多留。比起问“这张卡能不能跑”，更有用的问题是“它能以什么量化、什么上下文和什么速度跑”。

实际选型应运行固定的长对话和并发样本，记录空载显存与峰值，不要只以能成功回复一句“你好”为标准。

实际估算时还要给上下文缓存、系统占用和推理框架留出余量，不要把“模型权重刚好能装下”当成稳定运行标准。同一个参数规模因为量化精度、上下文长度和并发数量不同，显存需求可能差很多。购买硬件前最好先用自己的模型、上下文和推理框架做一次小规模测试，再决定是否升级显卡或改用云端。