Data-Juicer 本地部署避坑实操从零到跑通大模型数据清洗流水线【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer本文面向想用普通个人电脑运行大模型数据清洗任务的开发者。Data-Juicer数据榨汁机是一款面向基础模型的数据处理系统内置 200 数据处理算子能把杂乱原始文本榨成可直接喂给大模型的高质量数据。下面这份路线图会带你完成本地部署、跑通首个中文清洗流水线并提前排掉最容易踩的坑。先别急着敲命令动手前的三问自测很多教程一上来就让你pip install结果装到一半才发现走错了路。部署 Data-Juicer 之前先花三分钟回答下面三个问题能帮你省下半天时间。你的数据集是哪种水果Data-Juicer 处理的是JSONL 格式的文本数据每行一条 JSON 记录也支持 parquet、csv 等格式。你需要先确认两件事数据里是纯文本还是带图片、视频、音频的多模态数据数据规模是几十 MB 的测试集还是几个 GB 的正式语料这个答案直接决定你选哪条安装路线见下文表格。你要榨汁还是开果汁店换个说法你只是想跑通一次处理验证效果还是要长期处理多种数据、甚至接入分布式只跑通 → 安装基础版本即可十几分钟搞定要处理图像/视频/音频 → 需要额外装 vision、audio 相关依赖要做多机大规模处理 → 需要 ray、pyspark 等分布式依赖。电脑配置自检一张表看清门槛先执行下面这条命令确认你的 Python 和编译环境python --version # 要求 3.10 及以上 gcc --version # 要求支持 C14gcc 5.0Data-Juicer 的本地部署门槛比想象中低绝大多数近五年的电脑都能跑组件最低配置推荐配置资源不足时的降级建议CPU4 核8 核及以上处理时把并行进程数降到 2内存8 GB16 GB 以上只处理小批量数据或用 parquet 格式省内存存储10 GB 可用空间100 GB SSD删掉安装缓存输出文件用压缩格式GPU不需要NVIDIA GPU4 GB 显存无 GPU 不影响核心文本清洗功能这里你可能会问为什么一个数据处理工具要求这么高因为部分算子如困惑度过滤、图像去重要调用预训练模型模型本身就要吃几个 GB 内存。如果你只用纯文本过滤类算子8 GB 内存绰绰有余。安装方式对比三条路选一条安装方式覆盖范围适用场景备注源码安装推荐完整核心功能想深入阅读/修改源码、本地二次开发需先克隆仓库全量安装[all]所有可选依赖多模态 分布式全都要体积大、耗时长定向安装如[nlp]、[vision]只装你要的算子族只处理文本或只处理图像最省空间和时间关卡一把源码请进家门确定走源码安装路线后克隆仓库并创建独立的 Python 虚拟环境强烈建议避免污染系统 Python也方便日后一键删掉重装# 克隆源码 git clone https://gitcode.com/gh_mirrors/da/data-juicer cd>pip install -v -e .这里有个新手最容易困惑的点-e参数表示可编辑安装意思是把你克隆的这份源码直接链接到 Python 环境里。这样你修改仓库里的代码会立即生效不用反复重装——对想研究源码的人非常友好。如果只想快速试用而懒得克隆源码也可以一行装好uv pip install py-data-juicer装完后按需补装可选依赖。例如你之后要处理图片数据就补上视觉相关的算子依赖pip install -v -e .[vision]预判问题为什么装个 Python 库还要 C 编译器因为 Data-Juicer 里有一部分性能敏感的算子如 MinHash 去重是C 加速实现的安装时需要现场编译。如果你看到error: command gcc failed说明系统缺编译器安装build-essentialUbuntu/Debian或 Development Tools 组CentOS/RHEL后重试即可。关卡三30 秒验证安装跑一条命令看到版本号输出即代表安装成功python -c import data_juicer as dj; print(dj.__version__)如果打印出类似1.5.x的版本号恭喜Data-Juicer 已经在你的电脑里安家了。第一次榨汁跑通一个中文数据清洗流水线理论说了一堆是时候让机器转起来了。Data-Juicer 内置了示例数据和示例配置我们直接拿来跑一遍你会立刻感受到数据被清洗是怎么回事。配方一一份可以直接复制的配置打开仓库里的 demos/process_simple/process.yaml内容极简只有三部分# 全局参数项目名、输入数据、并行进程数 project_name: demo-process dataset_path: ./demos/data/demo-dataset.jsonl np: 4 # 输出文件路径 export_path: ./outputs/demo-process/demo-processed.jsonl # 处理调度定义一串算子op按顺序执行 process: - language_id_score_filter: # 语言识别过滤算子 lang: zh # 只保留中文 min_score: 0.8 # 置信度不低于 0.8这套配置做的事情很简单把输入数据里所有非中文文本过滤掉。你可以把它理解为给果汁机装了一张只保留中文字段的滤网。启动榨汁机python tools/process_data.py --config demos/process_simple/process.yaml屏幕上会出现进度条和日志输出处理完的 JSONL 文件会写到./outputs/demo-process/目录下。榨汁前后对比处理前demos/data/demo-dataset.jsonl 里有 6 行数据包含中、英、法三种语言数据行内容处理结果1Today is Sunday and its a happy day!过滤英文2Do you need a cup of coffee?过滤英文3你好请问你是谁✅ 保留4Sur la plateforme MT4...过滤法文5欢迎来到阿里巴巴✅ 保留6This paper proposed a novel method...过滤英文你可以用下面两条命令亲手验证数据量变化wc -l demos/data/demo-dataset.jsonl # 处理前6 行 wc -l outputs/demo-process/demo-processed.jsonl # 处理后2 行6 行变 2 行——这就是数据清洗的直观效果。把示例数据换成你自己的语料同样的配置就能跑真实任务了。给电脑调出好脾气三个常用旋钮跑通之后有 90% 的使用者会立刻遇到内存不够太慢模型存哪了这类问题其实都是配置没调好。记住这三个旋钮旋钮一缓存目录搬家Data-Juicer 默认把下载的模型和资源存在~/.cache/data_juicer下。如果 C 盘或系统盘吃紧用环境变量搬走它# Linux/macOS export DATA_JUICER_CACHE_HOME/data/your-big-disk/cache # Windows PowerShell $env:DATA_JUICER_CACHE_HOME D:\cache\data_juicer旋钮二并行进程数配置里的np控制同时用几个进程处理数据。经验值是CPU 核心数的 1~2 倍不是越大越好——进程太多反而会因内存争抢变慢。如果内存只有 8 GB建议np: 2。旋钮三GPU 加速部分算子图像美学评估、文本分类等支持 CUDA 加速。装好 CUDA 版 PyTorch 后跑一句确认python -c import torch; print(torch.cuda.is_available())输出True说明 GPU 可用Data-Juicer 会自动调用它。翻车现场速查表四个高频坑问题症状解决方案依赖冲突启动时报 numpy/pandas 版本错误用pip check定位冲突最省事的办法是删掉虚拟环境重建或改用 uv 安装编译失败error: command gcc failed安装 build-essential / Development Tools确保 gcc ≥ 5.0内存溢出进程被系统直接 Kill 掉降低np减小单批数据量或改用 parquet 输入格式中文乱码输出文件里中文全变???或乱字符确认数据文件是 UTF-8 编码并在配置中显式指定编码参数会跑只是第一步接下来怎么玩跑通清洗流水线只是开了个头Data-Juicer 值得深入的东西还有很多数据质量分析运行python tools/analyze_data.py --config demos/analyze_simple/analyzer.yaml用困惑度过滤等算子给数据集做一次体检生成统计报告可视化看板执行streamlit run app.py在浏览器里交互式查看数据分布和算子处理效果200 算子库文本去重、图像去重、视频切分、指令微调数据合成……完整算子清单见 docs/Operators.md每个算子都配了参数说明和示例自定义流水线把多个算子像积木一样叠进 YAML 配置复现和分享都非常方便参考 docs/DeveloperGuide.md。最后想对你说第一次跑通时看到那 6 行变 2 行的瞬间你就已经越过了本地部署最难的门槛。接下来每一次遇到新数据都是在给这台榨汁机换一种水果而已。如果在配置或算子使用上卡住了欢迎带着你的配置文件和报错信息到项目社区提问——数据清洗这条路越交流越好走。【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Data-Juicer 本地部署避坑实操：从零到跑通大模型数据清洗流水线
Data-Juicer 本地部署避坑实操从零到跑通大模型数据清洗流水线【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer本文面向想用普通个人电脑运行大模型数据清洗任务的开发者。Data-Juicer数据榨汁机是一款面向基础模型的数据处理系统内置 200 数据处理算子能把杂乱原始文本榨成可直接喂给大模型的高质量数据。下面这份路线图会带你完成本地部署、跑通首个中文清洗流水线并提前排掉最容易踩的坑。先别急着敲命令动手前的三问自测很多教程一上来就让你pip install结果装到一半才发现走错了路。部署 Data-Juicer 之前先花三分钟回答下面三个问题能帮你省下半天时间。你的数据集是哪种水果Data-Juicer 处理的是JSONL 格式的文本数据每行一条 JSON 记录也支持 parquet、csv 等格式。你需要先确认两件事数据里是纯文本还是带图片、视频、音频的多模态数据数据规模是几十 MB 的测试集还是几个 GB 的正式语料这个答案直接决定你选哪条安装路线见下文表格。你要榨汁还是开果汁店换个说法你只是想跑通一次处理验证效果还是要长期处理多种数据、甚至接入分布式只跑通 → 安装基础版本即可十几分钟搞定要处理图像/视频/音频 → 需要额外装 vision、audio 相关依赖要做多机大规模处理 → 需要 ray、pyspark 等分布式依赖。电脑配置自检一张表看清门槛先执行下面这条命令确认你的 Python 和编译环境python --version # 要求 3.10 及以上 gcc --version # 要求支持 C14gcc 5.0Data-Juicer 的本地部署门槛比想象中低绝大多数近五年的电脑都能跑组件最低配置推荐配置资源不足时的降级建议CPU4 核8 核及以上处理时把并行进程数降到 2内存8 GB16 GB 以上只处理小批量数据或用 parquet 格式省内存存储10 GB 可用空间100 GB SSD删掉安装缓存输出文件用压缩格式GPU不需要NVIDIA GPU4 GB 显存无 GPU 不影响核心文本清洗功能这里你可能会问为什么一个数据处理工具要求这么高因为部分算子如困惑度过滤、图像去重要调用预训练模型模型本身就要吃几个 GB 内存。如果你只用纯文本过滤类算子8 GB 内存绰绰有余。安装方式对比三条路选一条安装方式覆盖范围适用场景备注源码安装推荐完整核心功能想深入阅读/修改源码、本地二次开发需先克隆仓库全量安装[all]所有可选依赖多模态 分布式全都要体积大、耗时长定向安装如[nlp]、[vision]只装你要的算子族只处理文本或只处理图像最省空间和时间关卡一把源码请进家门确定走源码安装路线后克隆仓库并创建独立的 Python 虚拟环境强烈建议避免污染系统 Python也方便日后一键删掉重装# 克隆源码 git clone https://gitcode.com/gh_mirrors/da/data-juicer cd>pip install -v -e .这里有个新手最容易困惑的点-e参数表示可编辑安装意思是把你克隆的这份源码直接链接到 Python 环境里。这样你修改仓库里的代码会立即生效不用反复重装——对想研究源码的人非常友好。如果只想快速试用而懒得克隆源码也可以一行装好uv pip install py-data-juicer装完后按需补装可选依赖。例如你之后要处理图片数据就补上视觉相关的算子依赖pip install -v -e .[vision]预判问题为什么装个 Python 库还要 C 编译器因为 Data-Juicer 里有一部分性能敏感的算子如 MinHash 去重是C 加速实现的安装时需要现场编译。如果你看到error: command gcc failed说明系统缺编译器安装build-essentialUbuntu/Debian或 Development Tools 组CentOS/RHEL后重试即可。关卡三30 秒验证安装跑一条命令看到版本号输出即代表安装成功python -c import data_juicer as dj; print(dj.__version__)如果打印出类似1.5.x的版本号恭喜Data-Juicer 已经在你的电脑里安家了。第一次榨汁跑通一个中文数据清洗流水线理论说了一堆是时候让机器转起来了。Data-Juicer 内置了示例数据和示例配置我们直接拿来跑一遍你会立刻感受到数据被清洗是怎么回事。配方一一份可以直接复制的配置打开仓库里的 demos/process_simple/process.yaml内容极简只有三部分# 全局参数项目名、输入数据、并行进程数 project_name: demo-process dataset_path: ./demos/data/demo-dataset.jsonl np: 4 # 输出文件路径 export_path: ./outputs/demo-process/demo-processed.jsonl # 处理调度定义一串算子op按顺序执行 process: - language_id_score_filter: # 语言识别过滤算子 lang: zh # 只保留中文 min_score: 0.8 # 置信度不低于 0.8这套配置做的事情很简单把输入数据里所有非中文文本过滤掉。你可以把它理解为给果汁机装了一张只保留中文字段的滤网。启动榨汁机python tools/process_data.py --config demos/process_simple/process.yaml屏幕上会出现进度条和日志输出处理完的 JSONL 文件会写到./outputs/demo-process/目录下。榨汁前后对比处理前demos/data/demo-dataset.jsonl 里有 6 行数据包含中、英、法三种语言数据行内容处理结果1Today is Sunday and its a happy day!过滤英文2Do you need a cup of coffee?过滤英文3你好请问你是谁✅ 保留4Sur la plateforme MT4...过滤法文5欢迎来到阿里巴巴✅ 保留6This paper proposed a novel method...过滤英文你可以用下面两条命令亲手验证数据量变化wc -l demos/data/demo-dataset.jsonl # 处理前6 行 wc -l outputs/demo-process/demo-processed.jsonl # 处理后2 行6 行变 2 行——这就是数据清洗的直观效果。把示例数据换成你自己的语料同样的配置就能跑真实任务了。给电脑调出好脾气三个常用旋钮跑通之后有 90% 的使用者会立刻遇到内存不够太慢模型存哪了这类问题其实都是配置没调好。记住这三个旋钮旋钮一缓存目录搬家Data-Juicer 默认把下载的模型和资源存在~/.cache/data_juicer下。如果 C 盘或系统盘吃紧用环境变量搬走它# Linux/macOS export DATA_JUICER_CACHE_HOME/data/your-big-disk/cache # Windows PowerShell $env:DATA_JUICER_CACHE_HOME D:\cache\data_juicer旋钮二并行进程数配置里的np控制同时用几个进程处理数据。经验值是CPU 核心数的 1~2 倍不是越大越好——进程太多反而会因内存争抢变慢。如果内存只有 8 GB建议np: 2。旋钮三GPU 加速部分算子图像美学评估、文本分类等支持 CUDA 加速。装好 CUDA 版 PyTorch 后跑一句确认python -c import torch; print(torch.cuda.is_available())输出True说明 GPU 可用Data-Juicer 会自动调用它。翻车现场速查表四个高频坑问题症状解决方案依赖冲突启动时报 numpy/pandas 版本错误用pip check定位冲突最省事的办法是删掉虚拟环境重建或改用 uv 安装编译失败error: command gcc failed安装 build-essential / Development Tools确保 gcc ≥ 5.0内存溢出进程被系统直接 Kill 掉降低np减小单批数据量或改用 parquet 输入格式中文乱码输出文件里中文全变???或乱字符确认数据文件是 UTF-8 编码并在配置中显式指定编码参数会跑只是第一步接下来怎么玩跑通清洗流水线只是开了个头Data-Juicer 值得深入的东西还有很多数据质量分析运行python tools/analyze_data.py --config demos/analyze_simple/analyzer.yaml用困惑度过滤等算子给数据集做一次体检生成统计报告可视化看板执行streamlit run app.py在浏览器里交互式查看数据分布和算子处理效果200 算子库文本去重、图像去重、视频切分、指令微调数据合成……完整算子清单见 docs/Operators.md每个算子都配了参数说明和示例自定义流水线把多个算子像积木一样叠进 YAML 配置复现和分享都非常方便参考 docs/DeveloperGuide.md。最后想对你说第一次跑通时看到那 6 行变 2 行的瞬间你就已经越过了本地部署最难的门槛。接下来每一次遇到新数据都是在给这台榨汁机换一种水果而已。如果在配置或算子使用上卡住了欢迎带着你的配置文件和报错信息到项目社区提问——数据清洗这条路越交流越好走。【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
