大概70B/80B 级别的大模型4-bit 量化（如 Q4_K_M，模型约 40GB~45GB）可以直接完整塞进内存跑，甚至还能开比较长的上下文窗口的
NodeLoc | 吹水群2026-10-31 01:27大概70B/80B 级别的大模型4-bit 量化（如 Q4_K_M，模型约 40GB~45GB）可以直接完整塞进内存跑，甚至还能开比较长的上下文窗口的#其他