MongoDB数据迁移实战：用Compass一键导入导出JSON/CSV文件（含数据清洗技巧）
MongoDB数据迁移实战：Compass高效导入导出与数据清洗全指南
引言
在数据驱动的时代，数据库迁移已成为开发者日常工作中的高频操作。MongoDB作为领先的文档型数据库，其灵活的数据模型特别适合处理半结构化数据。而MongoDB Compass作为官方可视化工具，将命令行操作转化为直观的图形界面，大幅降低了数据迁移的技术门槛。本文将深入探讨如何利用Compass完成JSON/CSV文件的导入导出，并分享实际项目中积累的数据清洗技巧，帮助开发者避开那些教科书上不会提及的"坑"。
1. 环境准备与基础配置
1.1 Compass安装与连接设置
从MongoDB官网下载Compass时，建议选择与团队操作系统匹配的版本。对于企业环境，推荐使用稳定版而非最新测试版。安装完成后首次启动时，需要配置以下连接参数：
mongodb://[username:password@]host1[:port1][,...hostN[:portN]][/[defaultauthdb][?options]]注意：若连接云数据库服务（如Atlas），需在网络安全组中添加当前IP白名单。常见连接问题通常源于网络策略或认证配置错误。
1.2 数据迁移前的检查清单
在执行迁移前，建议完成以下准备工作：
- 源数据评估：记录文档数量、平均大小、索引情况
- 网络带宽测试：使用1GB测试文件评估传输速率
- 版本兼容性确认：检查源/目标MongoDB版本差异
- 权限审计：确保操作账户具有足够权限
重要提示：生产环境操作前务必在测试环境验证全过程
2. 数据导出实战技巧
2.1 导出格式选择策略
Compass支持多种导出格式，各有适用场景：
| 格式类型 | 最佳场景 | 局限性 |
|---|---|---|
| JSON | 完整保留BSON类型 | 文件体积较大 |
| CSV | 表格工具直接处理 | 嵌套文档需扁平化 |
| BSON | 最高效的二进制格式 | 需要专用工具解析 |
对于包含复杂嵌套结构的文档，JSON是最可靠的选择。而需要与业务部门共享数据时，CSV通常更受欢迎。
2.2 高级查询导出
Compass的导出功能支持基于查询条件的部分数据导出，这在以下场景特别有用：
// 导出最近30天的活跃用户 { "lastLogin": { "$gte": new Date(Date.now() - 30 * 24 * 60 * 60 * 1000) } }导出时可以通过Projection控制输出字段，避免传输不必要的数据：
{ "name": 1, "email": 1, "_id": 0 // 排除_id字段 }2.3 大容量数据导出优化
当处理百万级文档时，建议：
- 分批次导出（使用
skip和limit） - 启用
snapshot模式避免迁移期间数据变化 - 考虑使用
mongodump替代图形界面操作
3. 数据导入的深度实践
3.1 预处理与清洗技巧
导入前通常需要处理以下问题：
- 数据类型转换：CSV中的数字可能被识别为字符串
- 字段映射：源/目标字段名不一致
- 默认值填充：缺失字段的自动补全
使用Compass导入CSV时，可以通过列映射界面指定字段类型：
name -> String (required) age -> Int32 (default: 0) createdAt -> Date (auto)3.2 特殊字段处理
MongoDB特有的数据类型需要特别注意：
- ObjectId：确保唯一性避免冲突
- ISODate：日期字符串的格式标准化
- Decimal128：财务数据的精确处理
对于_id字段，推荐策略：
// 保留原_id doc._id = existingId; // 或生成新_id doc._id = new ObjectId();3.3 导入性能调优
通过以下设置可显著提升导入速度：
- 临时禁用索引（导入后重建）
- 调整批量写入大小（默认1000）
- 关闭写确认（w:0）
警告：性能优化可能影响数据安全性，需权衡使用
4. 典型问题解决方案
4.1 日期格式混乱
不同系统的日期表示各异，建议统一处理：
function formatDate(input) { // 处理Excel序列号日期 if (typeof input === 'number') { return new Date((input - 25569) * 86400 * 1000); } // 处理字符串日期 return new Date(input); }4.2 嵌套文档转换
将CSV的平铺结构转为MongoDB嵌套文档：
原始CSV：
product_id,spec.color,spec.size 1001,Red,XL转换后：
{ "product_id": 1001, "spec": { "color": "Red", "size": "XL" } }4.3 数据验证与修复
导入后应立即执行完整性检查：
- 文档计数比对
- 抽样验证关键字段
- 索引重建验证
可以使用Compass的Validation选项卡设置持续的数据质量规则。
5. 企业级迁移方案设计
5.1 多环境同步策略
建立规范的迁移流程：
- 开发环境 -> 测试环境（全量）
- 测试环境 -> 预生产（增量）
- 预生产 -> 生产（蓝绿部署）
5.2 变更管理最佳实践
- 维护数据字典记录字段变更
- 使用Schema验证保证数据结构
- 实施回滚方案（备份+快照）
5.3 监控与性能基线
关键监控指标包括：
- 迁移持续时间
- 数据传输速率
- 错误率/重试次数
- 目标集群负载变化
建立性能基线有助于发现异常情况。
6. 自动化与持续集成
对于频繁迁移的场景，可以考虑：
# 示例：自动化迁移脚本 from pymongo import MongoClient import json def migrate_collection(source_uri, target_uri, db_name, coll_name): source = MongoClient(source_uri) target = MongoClient(target_uri) cursor = source[db_name][coll_name].find() target[db_name][coll_name].insert_many(cursor)将迁移脚本集成到CI/CD流水线中，配合版本控制实现可追溯的数据变更。