使用LLaMA Factory微调Qwen2-0.5B：从零开始定制你的AI助手

使用LLaMA Factory微调Qwen2-0.5B：从零开始定制你的AI助手

【免费下载链接】Qwen2_0.5B项目地址: https://ai.gitcode.com/hf_mirrors/AI_Connect/Qwen2_0.5B

Qwen2-0.5B是一款轻量级的AI语言模型，非常适合个人开发者和小型团队进行本地化部署和定制。本文将详细介绍如何使用LLaMA Factory工具对Qwen2-0.5B模型进行微调，让你快速拥有专属的AI助手。

准备工作：环境搭建指南

安装Ascend CANN Toolkit和Kernels

首先需要安装Ascend CANN Toolkit和Kernels，这是在昇腾芯片上运行模型的基础环境。执行以下命令：

# 安装CANN Toolkit wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run bash Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run --install # 安装CANN Kernels wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run bash Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run --install # 设置环境变量 source /usr/local/Ascend/ascend-toolkit/set_env.sh

安装openMind Hub Client和Library

接下来安装openMind Hub Client和Library，这是与昇腾生态交互的重要组件：

# 安装openMind Hub Client pip install openmind_hub # 安装openMind Library及PyTorch框架 pip install openmind[pt]

核心步骤：LLaMA Factory微调实战

克隆Qwen2-0.5B项目仓库

首先获取Qwen2-0.5B模型文件：

git clone https://gitcode.com/hf_mirrors/AI_Connect/Qwen2_0.5B

安装LLaMA Factory工具

LLaMA Factory是一个功能强大的大模型微调工具，支持多种微调方法和模型类型：

git clone https://github.com/hiyouga/LLaMA-Factory.git --depth 1 cd LLaMA-Factory pip install -e ".[torch-npu,metrics]" pip install transformers==4.42.3

准备微调数据集

推荐使用WizardLM_evol_instruct_V2_143k数据集进行微调，下载地址：https://huggingface.co/datasets/WizardLMTeam/WizardLM_evol_instruct_V2_196k，下载后保存到本地。

配置数据集信息

在LLaMA Factory的data/dataset_info.json文件中添加如下配置：

"evol_instruct_V2": { "file_name": "WizardLM_evol_instruct_V2_143k.json" # 修改为本地数据集路径 },

创建微调配置文件

在LLaMA Factory路径下新建examples/train_full/qwen2_0_5b_full_sft_ds2.yaml文件，关键配置如下：

### model model_name_or_path: /models/Qwen2_0.5B # 修改为本地Qwen2-0.5B模型路径 ### method stage: sft do_train: true finetuning_type: full deepspeed: examples/deepspeed/ds_z2_config.json ### dataset dataset: evol_instruct_V2 template: qwen cutoff_len: 1024 ### train per_device_train_batch_size: 20 gradient_accumulation_steps: 2 learning_rate: 1.0e-5 max_steps: 5000 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true

启动微调过程

执行以下命令开始微调：

llamafactory-cli train examples/train_full/qwen2-0_5b_full_sft.yaml

模型应用：推理使用示例

微调完成后，可以使用以下代码进行推理测试：

import torch from openmind import AutoModelForCausalLM, AutoTokenizer model_name="PyTorch-NPU/qwen2_0.5b" # 替换为微调后的模型路径 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True, use_fast=False) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="npu:0", torch_dtype=torch.bfloat16, trust_remote_code=True) model = model.eval() inputs = tokenizer("我来给大家作一首诗，", return_tensors="pt").to(model.device) pred = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1) print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

常见问题解决

环境变量设置问题

如果遇到Ascend相关命令找不到的问题，请检查是否正确执行了环境变量设置命令：

source /usr/local/Ascend/ascend-toolkit/set_env.sh

内存不足问题

微调过程中如果出现内存不足错误，可以尝试减小per_device_train_batch_size参数值，或增加gradient_accumulation_steps参数值。

数据集格式问题

确保数据集格式符合LLaMA Factory要求，如遇格式错误，可参考examples/finetune.md中的数据集配置说明进行调整。

通过以上步骤，你已经成功完成了Qwen2-0.5B模型的微调。现在你可以根据自己的需求，使用不同的数据集进行定制化训练，打造专属于你的AI助手！

【免费下载链接】Qwen2_0.5B项目地址: https://ai.gitcode.com/hf_mirrors/AI_Connect/Qwen2_0.5B