标签: 大模型部署

大语言模型是AI领域的革命性技术，它为自然语言处理和智能应用提供了强大的能力。
本文介绍了大模型的核心概念和应用方式，帮助你进入AI应用开发领域。

自己部署大模型，最痛的就是推理慢、显存不够。vLLM 凭借 PagedAttention 技术，吞吐量比 HuggingFace Transformers 高 24 倍，是目前最主流的开源推理框架。

一、为什么需要 vLLM

1.1 原生推理的问题

HuggingFace Transformers 原生推理：
  - 每个 request 预分配最大 KV Cache 空间（如 2048 tokens）
  - 实际只用了 200 tokens → 90% 显存浪费
  - 无法批量并发：每个 request 独占显存
  - 吞吐量：~50 tokens/s（7B 模型，A10 GPU）

郑天祺2026/6/27大约 6 分钟

模型量化实战：INT8、INT4 与 GPTQ、AWQ 量化方案对比

LLM 推理太贵？显存不够？量化是最直接的方案。INT8 省一半显存，INT4 省四分之三，但效果损失多少？怎么选？一篇讲透。

一、量化基础

1.1 什么是量化

FP32（32位浮点）→ INT8（8位整数）→ INT4（4位整数）

模型显存对比（7B 模型）：
  FP32:  28 GB  （4 bytes × 7B）
  FP16:  14 GB  （2 bytes × 7B）
  INT8:   7 GB  （1 byte  × 7B）
  INT4:  3.5 GB （0.5 bytes × 7B）

→ INT4 量化后，7B 模型只需 3.5GB 显存
→ 一张 4090（24GB）可以跑 70B 模型的 INT4 量化版

郑天祺2026/6/27大约 7 分钟