30B / 32B 级别的模型：可以用 8-bit（甚至 FP16）高精度直接跑，基本不损耗模型能力。 7B / 8B / 14B 的小钢炮模型（如 Qwen 2.5、Llama 3 等）：随随便便多开并发，速度还快