从微信聊天记录到 AI 分身,5 步完成:WeClone 微调实战

从微信聊天记录到 AI 分身,5 步完成:WeClone 微调实战 从微信聊天记录到 AI 分身5 步完成WeClone 微调实战【免费下载链接】WeClone One-stop solution for creating your AI twin from chat history Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.项目地址: https://gitcode.com/GitHub_Trending/we/WeClone大模型默认回复总带一股官方腔让它说出你的口吻并不容易。WeClone 用你自己的微信聊天记录对 ChatGLM3-6B 做 LoRA 微调把说话风格装进模型里还能直接绑到微信机器人上。核心能力数据清洗、LoRA 微调、浏览器/接口推理、微信机器人部署。跑通最小路径 在终端执行以下命令获取项目代码git clone https://gitcode.com/GitHub_Trending/we/WeClone进入项目目录安装依赖pip install -r requirements.txt用 PyWxDump 导出聊天记录CSV放进data/csv目录运行python make_dataset/csv_to_json.py。脚本会自动脱敏手机号、身份证号、邮箱和网址有额外不想被学的词句可先加进 make_dataset/blocked_words.json含这些词的整句会被丢弃。打开 settings.json → 找到model_name_or_path→ 填入 ChatGLM3-6B 的本地目录默认指向项目根目录下的./chatglm3-6b然后开始 SFT 微调python src/train_sft.py训练产出保存在model_output运行下面命令启动浏览器推理页输入一句话拿到第一条回复python src/web_demo.py试用两个使用场景网页上对话输入在页面输入框里发你叫什么名字。处理服务在基座模型上加载训练得到的 LoRA 权重对应adapter_name_or_path按temperature0.5、重复惩罚 1.2 解码。输出页面返回一条口语化的短回复语气明显比通用模型更随意但像不像你取决于数据量。当微信好友先在一个终端启动接口服务python src/api_service.py再另开终端运行python src/wechat_bot/main.py扫描终端里显示的二维码登录之后私聊或在群里 机器人即可收到回复。注意 itchat 协议有封号风险建议用已绑银行卡的小号。调整微调参数 ⚙️LoRA 相当于只给原片换字幕而不是重拍全片所以 6B 模型微调大约 16GB 显存即可。常用参数都在 settings.json参数默认值影响推荐值model_name_or_path./chatglm3-6b基座模型本地路径实际下载目录lora_rank4LoRA 秩越大容量越强、显存越高4数据量大可试 8per_device_train_batch_size4单卡批大小显存占用随之上升显存紧张时改 1gradient_accumulation_steps8等效批量调小批量后用它补偿8num_train_epochs3训练轮数3盯着 losstemperature推理0.5回复随机性0.5~0.8排查常见卡点 训练报显存不足现象训练中途报 CUDA out of memory。原因6B LoRA 约需 16GB 显存默认批量 4 会进一步抬升占用。解法批量改 1、加大gradient_accumulation_steps仍不够则换 4bit QLoRA约 6GB 即可。模型找不到现象启动训练或推理直接报路径不存在。原因model_name_or_path默认是./chatglm3-6b与你实际下载位置不一致。解法改为真实目录若从魔搭社区拉模型先执行export USE_MODELSCOPE_HUB1。回复不像你现象回答通顺但没有个人风格。原因效果很大程度由聊天数据的数量和质量决定作者使用的规模约 2 万条。解法多导出几个联系人或群聊、清理禁用词SFT loss 降到 3.5 左右即可再低容易过拟合成复读。规划下一步多卡训练deepspeed、PT 阶段预训练与接口细节见 README.md回复模板与口吻可在 src/template.py 里定制遇到报错建议先翻一遍项目 issue多数路径类问题已有现成答案。【免费下载链接】WeClone One-stop solution for creating your AI twin from chat history Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.项目地址: https://gitcode.com/GitHub_Trending/we/WeClone创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考