实战2-量化推理 [2]

• Training的模型

  

• 合并后的模型

  

• 4bit量化推理

  

Training的时候要用tmux

$ tmux new -s finetune
$ tmux attach -t finetune
$ ctcl +b , D

16bit量化推理慢, 要用4bit量化推理

量化框架

• transformers
• https://github.com/vllm-project/llm-compressor/

【大部分的推理框架都有量化的功能】

参考

1. internLM fine-tuning on xtuner

   (4)XTuner 大模型单卡低成本微调实战 V