LM Studio 国内食用方法

除了ollama这样的大模型应用平台，其实还有LM Studio，而且和ollama的命令行运行相比较，LM Studio操作会更方便，它提供了完整的图形化操作界面，对新手小白很友好。但是，新手小白下载下来以后，可能会无法正常使用，比如大模型的下载就需要一点点魔法……

我也遇到过类似的问题，那么接着往下看……

本文使用的版本是0.3.8的LM Studio，由于软件更新，文章教程可能随时过期失效，截止最后一次改稿版本为V0.3.9。

附件表

按照国际惯例，先上附件表

名称	类型	霍格沃兹	适用系统
LM Studio	官网	否	Mac
LM Studio	官网	否	Windows
LM Studio	官网	否	Linux
hf-mirror.com	huggingface.co代理	否	Mac/Windows/Linux/Android/iOS
魔塔社区	魔塔社区	否	Mac/Windows/Linux/Android/iOS

下载安装

1. 下载进入官网https://lmstudio.ai/，选择你的系统对应的安装包，比如我的系统是Windows，我就选择Windows，或者直接在附件表下载安装

2. 安装不用我多说吧？你都了解到大模型了总不能不会安装吧？安装完毕以后你看到的应该是这样的界面

使用前准备

1. 切换语言

• 英文界面可能很多国人都看不懂，LM Studio从0.3.5版本开始就支持中文了。这里以0.3.8为例，先点击右下角的齿轮
• 找到language选项，切换为简体中文（beta)，选好以后会自动切换为中文，然后直接点X关掉弹窗

2. 换源

因为众所周知的原因，默认情况下，你是不能正常下载大模型的，需要换源才能使用你有霍格沃兹的情况下是可以正常使用的

查找含有huggingface.co的文件

1. 在电脑桌面找到LM Studio的图标，右键选择“打开文件所在位置”，打开LM Studio所在目录
2. 打开以后你看到的应该是这样的界面！鼠标单击上面的地址栏，就是图中蓝色部分，电脑会自动选择，直接按下Ctrl + C复制或者右键选择复制
3. 然后我们在电脑搜索栏搜索PowerShell，单击图中红色或蓝色框选区打开。或者按下WIN + R键，输入PowerShell也是一样的效果
4. 依次输入下面的命令

# 进入你复制的目录cd+空格+右键
cd C:\Users\MakotoArai\AppData\Local\Programs\lm-studio

# 查找含有huggingface.co的文件
findstr /s /i /m /c:"huggingface.co" *.*

5. 不出意外的话，你会看到下面的输出内容，一共是三个文件，文件所在目录上面也有，接下来找到对应的文件修改即可

把huggingface.co更改为hf-mirror.com

1. 打开\resources\app.webpack\main目录，找到index.js，右键选择记事本，如果没有记事本选项，选择其他应用打开再找到记事本你安装过VS code就双击打开就好啦
2. 这里以vs code为例因为记事本太卡了，记事本选择编辑->替换，后续和vs code是一样的。操作流程看下图

开始使用

下载模型

1. 在LM Studio内下载

• 打开LM Studio查看有没有大模型可以选了，没有就先把LM Studio关了再重新打开，然后下载大模型开始食用，操作如下图：
• 下载好以后选择你的模型
• 我已经安装了下面的模型，另外的正在下载……

2. 在魔塔社区下载模型

• 打开魔塔社区，找到你想要的模型，直接点击下载
• 下载下来以后，根据你的这个目录存放

• 在你的模型所在路径下，需要嵌套两个文件夹，否则无法正常识别模型文件，如下：

  AImode
  └─qianwen2-0-5B
    └─Qwen-2-5b
      └─qwen2-0_5b-instruct-fp16.gguf

设备要求

1. 1.5B 模型（约15亿参数）

配置项	最低配置	推荐配置
显存（GPU）	4GB（需4-bit量化）	8GB（可运行FP16精度）
显卡型号	NVIDIA GTX 1650/1060 6GB	NVIDIA RTX 3060/4060 8GB
内存（RAM）	8GB DDR4	16GB DDR4
CPU	Intel i3 / AMD Ryzen 3（4核）	Intel i5 / AMD Ryzen 5（6核）
存储	256GB SSD（模型文件约3-5GB）	512GB NVMe SSD
适用场景	轻量文本生成、简单问答、嵌入式设备	本地调试、小型应用部署

---

2. 7B 模型（约70亿参数）

配置项	最低配置	推荐配置
显存（GPU）	8GB（需4-bit量化）	16GB（FP16精度）
显卡型号	RTX 3060/3070/4060 8GB	RTX 3080/4080/A2000 16GB
内存（RAM）	16GB DDR4	32GB DDR5
CPU	Intel i5 / Ryzen 5（6核）	Intel i7 / Ryzen 7（8核）
存储	512GB SSD（模型文件约10-15GB）	1TB NVMe SSD
适用场景	本地对话、代码补全、中等长度生成	多任务推理、长文档处理

---

3. 8B 模型（约80亿参数）

配置项	最低配置	推荐配置
显存（GPU）	10GB（需4-bit量化）	16-24GB（FP16精度）
显卡型号	RTX 3080 10GB/4060 Ti 16GB	RTX 3090/4090/A4000 16GB+
内存（RAM）	24GB DDR4	48GB DDR5
CPU	Intel i7 / Ryzen 7（8核）	Intel i9 / Ryzen 9（12核）
存储	512GB SSD（模型文件约12-18GB）	1TB NVMe SSD
适用场景	复杂对话、多轮交互、中等规模数据分析	企业级工具开发、RAG应用

---

4. 14B 模型（约140亿参数）

配置项	最低配置	推荐配置
显存（GPU）	16GB（需4-bit量化）	24GB+（FP16精度）
显卡型号	RTX 3090 24GB/4090 24GB	NVIDIA A5000 24GB/A6000 48GB
内存（RAM）	32GB DDR4	64GB DDR5
CPU	Intel i9 / Ryzen 9（12核）	Xeon/EPYC（16核以上）
存储	1TB NVMe SSD（模型文件约25-30GB）	2TB NVMe SSD
适用场景	代码生成、复杂逻辑推理、企业级工具	高并发API服务、大规模数据处理

---

5. 32B 模型（约320亿参数）

配置项	最低配置	推荐配置
显存（GPU）	24GB（需4-bit量化 + 多卡）	80GB+（FP16精度 + 多卡）
显卡型号	2x RTX 3090 24GB	2x NVIDIA A100 80GB/H100 80GB
内存（RAM）	64GB DDR4	128GB DDR5 ECC
CPU	Xeon/EPYC（16核以上）	双路CPU（32核以上）
存储	2TB NVMe SSD（模型文件约60-80GB）	4TB NVMe RAID
适用场景	科研级推理、大规模知识库问答	分布式训练、超长文本生成

---

6. 70B 模型（约700亿参数）

配置项	最低配置	推荐配置
显存（GPU）	48GB（需4-bit量化 + 4卡）	320GB+（FP16精度 + 多卡集群）
显卡型号	4x RTX 4090 24GB	4x NVIDIA H100 80GB/A100 80GB
内存（RAM）	128GB DDR5 ECC	256GB+ DDR5 ECC
CPU	双路Xeon/EPYC（64核以上）	四路CPU（128核以上）
存储	4TB NVMe RAID（模型文件约140GB）	8TB 企业级SSD阵列
适用场景	类GPT-3.5级别推理、超大规模数据处理	云端服务、AIaaS平台

---

7. 671B 模型（约6710亿参数）

配置项	最低配置	推荐配置
显存（GPU）	无单机方案，需分布式集群	64x NVIDIA H100（6400GB显存）
显卡组合	云服务（AWS P4/P5实例）	超算集群（千卡级并行）
内存（RAM）	512GB+ ECC DDR5	2TB+ ECC DDR5
CPU	多路EPYC/Xeon（256核以上）	超算级CPU（1024核以上）
存储	16TB+ 高速存储阵列	分布式存储（100TB+）
适用场景	国家级AI研究、超大规模预训练	全球级AI服务（如GPT-4级别）

大模型推理显存计算器

参数可以在名称或config.json里面找到

魔塔社区DeepSeek模型

显存大小	模型名称	备注	适用
32GB	DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf		LM studio
24GB	DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf	质量:Q5>Q4 速度Q5<Q4	LM studio
16GB	DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf		LM studio
12GB	DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf		LM studio
11GB	DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf		LM studio
8GB	DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf DeepSeek-R1-Distill-Llama-8B-Q6_K.gguf	二选一即可	LM studio
6GB	DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf	二选一即可	LM studio
4GB	DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf	质量:7B>1.5B 速度:7B<1.5B	LM studio
3GB、2GB	DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf		LM studio

运行效果

• 效果如图，正确答案是39

  1. Gemma2B:
  2. Qwen2-0 5B
  3. miniCPM2.6
  4. Qwen2.5-coder-3B
  5. phi4白大
  6. deepseek-r1-distill-qwen-7b
  7. deepseek-coder-v2-lite-instruct白大，已经自己把自已绕晕了，无限死循环

总结

如果你手头的设备足够好，那就上更大的模型，如果不够那就食用在线的服务比较好，本地部署的大模型就用于学习练手玩玩图个乐子就好了。