LM Studio 国内食用方法

LM Studio 国内换源
除了ollama这样的大模型应用平台,其实还有LM Studio,而且和ollama的命令行运行相比较,LM Studio操作会更方便,它提供了完整的图形化操作界面,对新手小白很友好。但是,新手小白下载下来以后,可能会无法正常使用,比如大模型的下载就需要一点点魔法……

我也遇到过类似的问题,那么接着往下看……

本文使用的版本是0.3.8的LM Studio,由于软件更新,文章教程可能随时过期失效,截止最后一次改稿版本为V0.3.9

附件表

按照国际惯例,先上附件表

名称类型霍格沃兹适用系统
LM Studio官网Mac
LM Studio官网Windows
LM Studio官网Linux
hf-mirror.comhuggingface.co代理Mac/Windows/Linux/Android/iOS
魔塔社区魔塔社区Mac/Windows/Linux/Android/iOS

下载安装

  1. 下载进入官网https://lmstudio.ai/,选择你的系统对应的安装包,比如我的系统是Windows,我就选择Windows,或者直接在附件表下载安装

LM Studio官网

  1. 安装不用我多说吧?你都了解到大模型了总不能不会安装吧?安装完毕以后你看到的应该是这样的界面LM Studio

使用前准备

1. 切换语言

  • 英文界面可能很多国人都看不懂,LM Studio从0.3.5版本开始就支持中文了。这里以0.3.8为例,先点击右下角的齿轮LM Studio语言切换
  • 找到language选项,切换为简体中文(beta),选好以后会自动切换为中文,然后直接点X关掉弹窗LM Studio语言切换

2. 换源

因为众所周知的原因,默认情况下,你是不能正常下载大模型的,需要换源才能使用你有霍格沃兹的情况下是可以正常使用的

查找含有huggingface.co的文件

  1. 在电脑桌面找到LM Studio的图标,右键选择“打开文件所在位置”,打开LM Studio所在目录打开LM Studio所在目录
  2. 打开以后你看到的应该是这样的界面!鼠标单击上面的地址栏,就是图中蓝色部分,电脑会自动选择,直接按下Ctrl + C复制或者右键选择复制复制LM Studio路径
  3. 然后我们在电脑搜索栏搜索PowerShell,单击图中红色或蓝色框选区打开。或者按下WIN + R键,输入PowerShell也是一样的效果打开PowerShell
  4. 依次输入下面的命令
# 进入你复制的目录cd+空格+右键
cd C:\Users\MakotoArai\AppData\Local\Programs\lm-studio
# 查找含有huggingface.co的文件
findstr /s /i /m /c:"huggingface.co" *.*
  1. 不出意外的话,你会看到下面的输出内容,一共是三个文件,文件所在目录上面也有,接下来找到对应的文件修改即可PowerShell

把huggingface.co更改为hf-mirror.com

  1. 打开\resources\app.webpack\main目录,找到index.js,右键选择记事本,如果没有记事本选项,选择其他应用打开再找到记事本你安装过VS code就双击打开就好啦
  2. 这里以vs code为例因为记事本太卡了,记事本选择编辑->替换,后续和vs code是一样的。操作流程看下图替换文本

开始使用

下载模型

1. 在LM Studio内下载

  • 打开LM Studio查看有没有大模型可以选了,没有就先把LM Studio关了再重新打开,然后下载大模型开始食用,操作如下图:大模型下载和使用
  • 下载好以后选择你的模型选择模型
  • 我已经安装了下面的模型,另外的正在下载……模型列表

2. 在魔塔社区下载模型

  • 打开魔塔社区,找到你想要的模型,直接点击下载魔塔社区
  • 下载下来以后,根据你的这个目录存放模型
  • 在你的模型所在路径下,需要嵌套两个文件夹,否则无法正常识别模型文件,如下:

    AImode
    └─qianwen2-0-5B
      └─Qwen-2-5b
        └─qwen2-0_5b-instruct-fp16.gguf

设备要求

1. 1.5B 模型(约15亿参数)

配置项最低配置推荐配置
显存(GPU)4GB(需4-bit量化)8GB(可运行FP16精度)
显卡型号NVIDIA GTX 1650/1060 6GBNVIDIA RTX 3060/4060 8GB
内存(RAM)8GB DDR416GB DDR4
CPUIntel i3 / AMD Ryzen 3(4核)Intel i5 / AMD Ryzen 5(6核)
存储256GB SSD(模型文件约3-5GB)512GB NVMe SSD
适用场景轻量文本生成、简单问答、嵌入式设备本地调试、小型应用部署

2. 7B 模型(约70亿参数)

配置项最低配置推荐配置
显存(GPU)8GB(需4-bit量化)16GB(FP16精度)
显卡型号RTX 3060/3070/4060 8GBRTX 3080/4080/A2000 16GB
内存(RAM)16GB DDR432GB DDR5
CPUIntel i5 / Ryzen 5(6核)Intel i7 / Ryzen 7(8核)
存储512GB SSD(模型文件约10-15GB)1TB NVMe SSD
适用场景本地对话、代码补全、中等长度生成多任务推理、长文档处理

3. 8B 模型(约80亿参数)

配置项最低配置推荐配置
显存(GPU)10GB(需4-bit量化)16-24GB(FP16精度)
显卡型号RTX 3080 10GB/4060 Ti 16GBRTX 3090/4090/A4000 16GB+
内存(RAM)24GB DDR448GB DDR5
CPUIntel i7 / Ryzen 7(8核)Intel i9 / Ryzen 9(12核)
存储512GB SSD(模型文件约12-18GB)1TB NVMe SSD
适用场景复杂对话、多轮交互、中等规模数据分析企业级工具开发、RAG应用

4. 14B 模型(约140亿参数)

配置项最低配置推荐配置
显存(GPU)16GB(需4-bit量化)24GB+(FP16精度)
显卡型号RTX 3090 24GB/4090 24GBNVIDIA A5000 24GB/A6000 48GB
内存(RAM)32GB DDR464GB DDR5
CPUIntel i9 / Ryzen 9(12核)Xeon/EPYC(16核以上)
存储1TB NVMe SSD(模型文件约25-30GB)2TB NVMe SSD
适用场景代码生成、复杂逻辑推理、企业级工具高并发API服务、大规模数据处理

5. 32B 模型(约320亿参数)

配置项最低配置推荐配置
显存(GPU)24GB(需4-bit量化 + 多卡)80GB+(FP16精度 + 多卡)
显卡型号2x RTX 3090 24GB2x NVIDIA A100 80GB/H100 80GB
内存(RAM)64GB DDR4128GB DDR5 ECC
CPUXeon/EPYC(16核以上)双路CPU(32核以上)
存储2TB NVMe SSD(模型文件约60-80GB)4TB NVMe RAID
适用场景科研级推理、大规模知识库问答分布式训练、超长文本生成

6. 70B 模型(约700亿参数)

配置项最低配置推荐配置
显存(GPU)48GB(需4-bit量化 + 4卡)320GB+(FP16精度 + 多卡集群)
显卡型号4x RTX 4090 24GB4x NVIDIA H100 80GB/A100 80GB
内存(RAM)128GB DDR5 ECC256GB+ DDR5 ECC
CPU双路Xeon/EPYC(64核以上)四路CPU(128核以上)
存储4TB NVMe RAID(模型文件约140GB)8TB 企业级SSD阵列
适用场景类GPT-3.5级别推理、超大规模数据处理云端服务、AIaaS平台

7. 671B 模型(约6710亿参数)

配置项最低配置推荐配置
显存(GPU)无单机方案,需分布式集群64x NVIDIA H100(6400GB显存)
显卡组合云服务(AWS P4/P5实例)超算集群(千卡级并行)
内存(RAM)512GB+ ECC DDR52TB+ ECC DDR5
CPU多路EPYC/Xeon(256核以上)超算级CPU(1024核以上)
存储16TB+ 高速存储阵列分布式存储(100TB+)
适用场景国家级AI研究、超大规模预训练全球级AI服务(如GPT-4级别)

大模型推理显存计算器

参数可以在名称或config.json里面找到

预估显存需求: GB 仅供参考

魔塔社区DeepSeek模型

运行效果

  • 效果如图,正确答案是39

    1. Gemma2B:大模型问答
    2. Qwen2-0 5B大模型问答
    3. miniCPM2.6大模型问答
    4. Qwen2.5-coder-3B大模型问答
    5. phi4白大大模型问答
    6. deepseek-r1-distill-qwen-7b大模型问答
    7. deepseek-coder-v2-lite-instruct白大,已经自己把自已绕晕了,无限死循环大模型问答

总结

如果你手头的设备足够好,那就上更大的模型,如果不够那就食用在线的服务比较好,本地部署的大模型就用于学习练手玩玩图个乐子就好了