Post

小显卡跑Qwen2.5-Coder做代码补全

小显卡跑Qwen2.5-Coder做代码补全

1 前言

对于普通消费级PC,就算只有2GB显存,也可以用本地显卡推理Qwen2.5-Coder,并通过Continue插件在VSCode里获得可靠的Tab补全。

本地LLM补全流程:NVIDIA显卡→Ollama→VSCode Continue

2 前置条件

机器系统不限,Linux、macOS、WSL2任一都可以。需要一张NVIDIA显卡,型号无所谓,2GB显存也能跑1.5B的Q4量化版本。系统上要已经装好NVIDIA驱动和CUDA,VSCode里要装好Continue插件(在市场里搜Continue,选中continuedev.continue)。笔者的显卡驱动版本575.64.03,显存只有2GB,跑1.5B Q4够用。驱动是否OK用一条命令就能确认:

1
nvidia-smi

能打印出表格即可。

3 安装Ollama

官方一行命令安装:

1
curl -fsSL https://ollama.com/install.sh | sh

服务起来后验证版本和监听端口:

1
2
ollama --version
ss -tlnp | grep 11434   # 应该看到 127.0.0.1:11434,只监听本机

Ollama默认监听127.0.0.1,本机外网访问不到,无需额外加固。

4 下载Qwen2.5-Coder量化模型

1.5B的Q4_K_M量化版权重约1.1GB,最适合小显存机器做补全:

1
ollama pull qwen2.5-coder:1.5b

如果之前自己导入过gguf,也可以直接拉自己那个:

1
ollama pull qwen2.5_coder-1.5b

验证一下能跑:

1
2
ollama list
ollama run qwen2.5-coder:1.5b "def fib(n):"

交互里按Ctrl+D退出。

5 做一个全显存变体让推理更稳(可选)

默认tag会让Ollama自动把部分层卸到CPU,小显存机器上KV cache一大就容易被切到CPU/swap。如果显存能装得下权重加一点KV cache(1.5B Q4大约需要1.4GB显存),可以建一个:allgpu变体强制全部层上GPU:

1
2
3
4
5
6
ollama show qwen2.5-coder:1.5b --modelfile > /tmp/Modelfile.allgpu
cat >> /tmp/Modelfile.allgpu <<'EOF'
PARAMETER num_ctx 4096
PARAMETER num_gpu 32
EOF
ollama create qwen2.5-coder:1.5b:allgpu -f /tmp/Modelfile.allgpu

num_ctx 4096对补全足够(补全场景一次最多几百token)。num_gpu 32强制把所有层(含embedding/output)放到GPU。

验证是否全在GPU:

1
2
ollama run qwen2.5-coder:1.5b:allgpu "ping" /bye
ollama ps

ollama ps输出的PROCESSOR列应该显示100% GPU。

6 配置Continue

Continue 1.2.x的配置文件在~/.continue/config.yaml。最小可用配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
name: Local Coder
version: 1.0.0
schema: v1
models:
  - name: Qwen 2.5 Coder 1.5b
    provider: ollama
    model: qwen2.5-coder:1.5b:allgpu
    roles:
      - autocomplete
      - chat
    defaultCompletionOptions:
      maxTokens: 128
  - name: Autodetect
    provider: ollama
    model: AUTODETECT
    roles:
      - autocomplete
      - chat
      - edit
      - apply
context:
  - provider: code
  - provider: docs
  - provider: diff
  - provider: terminal
  - provider: problems
  - provider: folder
  - provider: codebase

几个关键点要说明。provider: ollama让Continue直接走http://localhost:11434,不用再单独写URL。roles: [autocomplete, chat]把它同时注册成补全和聊天模型。必须显式设defaultCompletionOptions.maxTokens: 128——Continue默认maxTokens=4096,这个值会让它的prompt预算算式变成负数,裁剪到空,补全静默失效。128对补全绰绰有余,大约能出5–10行代码。如果不建:allgpu变体,把model名换成普通的qwen2.5-coder:1.5b即可,此时Ollama会自动分层,速度略慢但稳定性更好。

maxTokens陷阱:4096让prompt预算变负导致补全失效,128正常工作

7 笔者的实际配置

前面给的是最小可用配置,这里把笔者本机真正在用的Modelfile和Continue配置贴出来供参考。Modelfile来自ollama show qwen2.5_coder-1.5b:allgpu --modelfile的输出(TEMPLATE那一大段是Qwen默认的chatml模板,省略不贴):

1
2
3
4
5
6
7
8
9
10
11
12
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen2.5_coder-1.5b:allgpu

# TEMPLATE 部分是Qwen的chatml模板,ollama show里能看到,这里省略
SYSTEM You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
PARAMETER num_gpu 32
PARAMETER repeat_penalty 1.05
PARAMETER temperature 0.7
PARAMETER top_k 20
PARAMETER top_p 0.8
PARAMETER num_ctx 4096

num_gpu 32和num_ctx 4096是第5节里手动加的,其余repeat_penalty/temperature/top_k/top_p是Qwen2.5-Coder基础模型自带的默认参数。

本地部分在用的配置(节选自~/.continue/config.yaml,省略在线API模型):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  - name: Qwen 2.5 Coder 1.5b AllGPU
    provider: ollama
    model: qwen2.5_coder-1.5b:allgpu
    roles:
      - autocomplete
      - chat
    defaultCompletionOptions:
      maxTokens: 128
  - name: Autodetect
    provider: ollama
    model: AUTODETECT
    roles:
      - autocomplete
      - chat
      - edit
      - apply

Autodetect那条让Continue自动走Ollama默认模型做edit/apply,不用单独再给它配model名。实际使用时本地的:allgpu变体主要兜底断网或离线场景,在线模型延迟和上下文都更好。

8 在VSCode里选择模型并验证

先重载窗口让Continue重新读配置:Ctrl+Shift+P调出命令面板,执行Developer: Reload Window。然后打开Continue侧边栏,在模型下拉里选Qwen 2.5 Coder 1.5b。打开任意代码文件,光标停在一行结尾等150–300ms,应当能看到灰色补全提示,按Tab接受。

最小验证例子:

1
2
3
4
5
# helloworld
def hello(): print("Hello, world!")

if __name__ == "__main__":
    █

光标停在那行缩进处,应当补出hello()。

9 性能调优清单

现象处理
补全慢、加热卡降num_ctx(4096 → 2048),或换更小的量化(Q4 → Q3)
显存不够、oomnum_ctx改成2048,或干脆去掉:allgpu变体用默认分层
补全质量差在Modelfile里设PARAMETER temperature 0.1、PARAMETER top_p 0.9重build变体
补全常常带Markdown包裹把Continue的autocomplete template调成chatml风格,或在defaultCompletionOptions加stop: ["\n\n", "``”]`
大文件补不出来切到没用:allgpu的普通tag(Ollama自动给到32768 ctx的视图),或把num_ctx升到8192

10 卸载清理

1
2
3
4
ollama rm qwen2.5-coder:1.5b:allgpu
ollama rm qwen2.5-coder:1.5b
sudo systemctl stop ollama
sudo apt remove ollama

~/.ollama和~/.continue是数据目录,按需删除即可。

This post is licensed under CC BY 4.0 by the author.