在个人笔记本上运行 Qwen 大语言模型
在个人笔记本上运行 Qwen 大语言模型本文记录如何在个人笔记本电脑上部署并运行 Qwen 系列大模型，实现本地 AI 对话服务。 本次部署使用 text-generation-webui 作为本地大模型运行框架，通过 GGUF 量化模型 在显存有限的设备上运行。 一、使用环境与工具硬件环境 显卡：NVIDIA RTX 3060 Laptop GPU 显存：6GB VRAM 由于笔记本显存有限，因此选择经过量化的 GGUF 格式模型，以降低显存占用。 环境管理工具使用 Miniconda 管理 Python 环境。 下载地址： https://anaconda.com/api/installers/Miniconda3-latest-Windows-x86_64.exe 安装完成后建议勾选添加环境变量，或者使用 Miniconda Prompt 运行后续命令。 模型选择本次使用模型： Qwen2.5-7B-Instruct-Q5_K_M（GGUF） 模型下载地址： https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-G...