LM Studio 国内食用方法
除了ollama这样的大模型应用平台,其实还有LM Studio,而且和ollama的命令行运行相比较,LM Studio操作会更方便,它提供了完整的图形化操作界面,对新手小白很友好。但是,新手小白下载下来以后,可能会无法正常使用,比如大模型的下载就需要一点点魔法……
我也遇到过类似的问题,那么接着往下看……
本文使用的版本是0.3.8的LM Studio,由于软件更新,文章教程可能随时过期失效,截止最后一次改稿版本为V0.3.9。
附件表
按照国际惯例,先上附件表
名称 | 类型 | 霍格沃兹 | 适用系统 |
---|---|---|---|
LM Studio | 官网 | 否 | Mac |
LM Studio | 官网 | 否 | Windows |
LM Studio | 官网 | 否 | Linux |
hf-mirror.com | huggingface.co代理 | 否 | Mac/Windows/Linux/Android/iOS |
魔塔社区 | 魔塔社区 | 否 | Mac/Windows/Linux/Android/iOS |
下载安装
- 下载进入官网https://lmstudio.ai/,选择你的系统对应的安装包,比如我的系统是Windows,我就选择Windows,或者直接在附件表下载安装
- 安装不用我多说吧?你都了解到大模型了总不能不会安装吧?安装完毕以后你看到的应该是这样的界面
使用前准备
1. 切换语言
- 英文界面可能很多国人都看不懂,LM Studio从0.3.5版本开始就支持中文了。这里以0.3.8为例,先点击右下角的齿轮
- 找到language选项,切换为简体中文(beta),选好以后会自动切换为中文,然后直接点X关掉弹窗
2. 换源
因为众所周知的原因,默认情况下,你是不能正常下载大模型的,需要换源才能使用你有霍格沃兹的情况下是可以正常使用的
查找含有huggingface.co的文件
- 在电脑桌面找到LM Studio的图标,右键选择“打开文件所在位置”,打开LM Studio所在目录
- 打开以后你看到的应该是这样的界面!鼠标单击上面的地址栏,就是图中蓝色部分,电脑会自动选择,直接按下
Ctrl + C
复制或者右键选择复制 - 然后我们在电脑搜索栏搜索PowerShell,单击图中红色或蓝色框选区打开。或者按下WIN + R键,输入PowerShell也是一样的效果
- 依次输入下面的命令
# 进入你复制的目录cd+空格+右键
cd C:\Users\MakotoArai\AppData\Local\Programs\lm-studio
# 查找含有huggingface.co的文件
findstr /s /i /m /c:"huggingface.co" *.*
- 不出意外的话,你会看到下面的输出内容,一共是三个文件,文件所在目录上面也有,接下来找到对应的文件修改即可
把huggingface.co更改为hf-mirror.com
- 打开\resources\app.webpack\main目录,找到index.js,右键选择记事本,如果没有记事本选项,选择其他应用打开再找到记事本你安装过VS code就双击打开就好啦
- 这里以vs code为例因为记事本太卡了,记事本选择编辑->替换,后续和vs code是一样的。操作流程看下图
开始使用
下载模型
1. 在LM Studio内下载
- 打开LM Studio查看有没有大模型可以选了,没有就先把LM Studio关了再重新打开,然后下载大模型开始食用,操作如下图:
- 下载好以后选择你的模型
- 我已经安装了下面的模型,另外的正在下载……
2. 在魔塔社区下载模型
- 打开魔塔社区,找到你想要的模型,直接点击下载
- 下载下来以后,根据你的这个目录存放
在你的模型所在路径下,需要嵌套两个文件夹,否则无法正常识别模型文件,如下:
AImode └─qianwen2-0-5B └─Qwen-2-5b └─qwen2-0_5b-instruct-fp16.gguf
设备要求
1. 1.5B 模型(约15亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 4GB(需4-bit量化) | 8GB(可运行FP16精度) |
显卡型号 | NVIDIA GTX 1650/1060 6GB | NVIDIA RTX 3060/4060 8GB |
内存(RAM) | 8GB DDR4 | 16GB DDR4 |
CPU | Intel i3 / AMD Ryzen 3(4核) | Intel i5 / AMD Ryzen 5(6核) |
存储 | 256GB SSD(模型文件约3-5GB) | 512GB NVMe SSD |
适用场景 | 轻量文本生成、简单问答、嵌入式设备 | 本地调试、小型应用部署 |
2. 7B 模型(约70亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 8GB(需4-bit量化) | 16GB(FP16精度) |
显卡型号 | RTX 3060/3070/4060 8GB | RTX 3080/4080/A2000 16GB |
内存(RAM) | 16GB DDR4 | 32GB DDR5 |
CPU | Intel i5 / Ryzen 5(6核) | Intel i7 / Ryzen 7(8核) |
存储 | 512GB SSD(模型文件约10-15GB) | 1TB NVMe SSD |
适用场景 | 本地对话、代码补全、中等长度生成 | 多任务推理、长文档处理 |
3. 8B 模型(约80亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 10GB(需4-bit量化) | 16-24GB(FP16精度) |
显卡型号 | RTX 3080 10GB/4060 Ti 16GB | RTX 3090/4090/A4000 16GB+ |
内存(RAM) | 24GB DDR4 | 48GB DDR5 |
CPU | Intel i7 / Ryzen 7(8核) | Intel i9 / Ryzen 9(12核) |
存储 | 512GB SSD(模型文件约12-18GB) | 1TB NVMe SSD |
适用场景 | 复杂对话、多轮交互、中等规模数据分析 | 企业级工具开发、RAG应用 |
4. 14B 模型(约140亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 16GB(需4-bit量化) | 24GB+(FP16精度) |
显卡型号 | RTX 3090 24GB/4090 24GB | NVIDIA A5000 24GB/A6000 48GB |
内存(RAM) | 32GB DDR4 | 64GB DDR5 |
CPU | Intel i9 / Ryzen 9(12核) | Xeon/EPYC(16核以上) |
存储 | 1TB NVMe SSD(模型文件约25-30GB) | 2TB NVMe SSD |
适用场景 | 代码生成、复杂逻辑推理、企业级工具 | 高并发API服务、大规模数据处理 |
5. 32B 模型(约320亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 24GB(需4-bit量化 + 多卡) | 80GB+(FP16精度 + 多卡) |
显卡型号 | 2x RTX 3090 24GB | 2x NVIDIA A100 80GB/H100 80GB |
内存(RAM) | 64GB DDR4 | 128GB DDR5 ECC |
CPU | Xeon/EPYC(16核以上) | 双路CPU(32核以上) |
存储 | 2TB NVMe SSD(模型文件约60-80GB) | 4TB NVMe RAID |
适用场景 | 科研级推理、大规模知识库问答 | 分布式训练、超长文本生成 |
6. 70B 模型(约700亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 48GB(需4-bit量化 + 4卡) | 320GB+(FP16精度 + 多卡集群) |
显卡型号 | 4x RTX 4090 24GB | 4x NVIDIA H100 80GB/A100 80GB |
内存(RAM) | 128GB DDR5 ECC | 256GB+ DDR5 ECC |
CPU | 双路Xeon/EPYC(64核以上) | 四路CPU(128核以上) |
存储 | 4TB NVMe RAID(模型文件约140GB) | 8TB 企业级SSD阵列 |
适用场景 | 类GPT-3.5级别推理、超大规模数据处理 | 云端服务、AIaaS平台 |
7. 671B 模型(约6710亿参数)
配置项 | 最低配置 | 推荐配置 |
---|---|---|
显存(GPU) | 无单机方案,需分布式集群 | 64x NVIDIA H100(6400GB显存) |
显卡组合 | 云服务(AWS P4/P5实例) | 超算集群(千卡级并行) |
内存(RAM) | 512GB+ ECC DDR5 | 2TB+ ECC DDR5 |
CPU | 多路EPYC/Xeon(256核以上) | 超算级CPU(1024核以上) |
存储 | 16TB+ 高速存储阵列 | 分布式存储(100TB+) |
适用场景 | 国家级AI研究、超大规模预训练 | 全球级AI服务(如GPT-4级别) |
大模型推理显存计算器
参数可以在名称或config.json里面找到
预估显存需求: GB
仅供参考
魔塔社区DeepSeek模型
显存大小 | 模型名称 | 备注 | 适用 |
---|---|---|---|
32GB | DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf | LM studio | |
24GB | DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf | 质量:Q5>Q4速度Q5<Q4 | LM studio |
16GB | DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf | LM studio | |
12GB | DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf | LM studio | |
11GB | DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf | LM studio | |
8GB | DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf DeepSeek-R1-Distill-Llama-8B-Q6_K.gguf | 二选一即可 | LM studio |
6GB | DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf | 二选一即可 | LM studio |
4GB | DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf | 质量:7B>1.5B速度:7B<1.5B | LM studio |
3GB、2GB | DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf | LM studio |
运行效果
效果如图,正确答案是39
- Gemma2B:
- Qwen2-0 5B
- miniCPM2.6
- Qwen2.5-coder-3B
- phi4白大
- deepseek-r1-distill-qwen-7b
- deepseek-coder-v2-lite-instruct白大,已经自己把自已绕晕了,无限死循环
- Gemma2B:
总结
如果你手头的设备足够好,那就上更大的模型,如果不够那就食用在线的服务比较好,本地部署的大模型就用于学习练手玩玩图个乐子就好了。