MongoDB 离线提取工具—mongoext

在某些情况下,由于断电、硬件故障、软件bug等导致mongodb数据库无法正常启动,甚至使用repair依然无法启动,对于这样的情况.我专门开发了mongodb离线提取工具mongoext,在离线情况下直接提取mongodb的数据

整体命令支持

G:\mongodb\mongoext>mongoext.exe -h

usage: mongoext [-h] {scan,recover,info} ...

 

脱机 MongoDB 数据文件提取工具

 

positional arguments:

  {scan,recover,info}

    scan               扫描 dbPath 并导出

    recover            恢复孤立的单个 collection 文件（无 catalog）

    info               打印 dbPath 元信息

 

options:

  -h, --help           show this help message and exit

scan 是基于mongodb字典直接提取数据
recover是直接恢复单个集合文件中数据
info是获取字典信息以及集合对应关系

mongoext scan 命令介绍

G:\mongodb\mongoext>mongoext.exe scan -h

usage: mongoext scan [-h] [--db DB] [--collection COLLECTION] [--include-system] [--out OUT]

                     [--format {jsonl,sql,bson,mongo}] [--uri URI] [--batch BATCH] [--no-indexes] [--ttl-indexes]

                     [--keep-existing] [--sql-dialect {postgres,mysql}] [--dedup] [--no-progress] [--dry-run]

                     [--allocation-size ALLOCATION_SIZE]

                     dbpath

 

positional arguments:

  dbpath                dbPath 路径

 

options:

  -h, --help            show this help message and exit

  --db DB               只导出指定数据库

  --collection COLLECTION

                        只导出指定集合

  --include-system      连 admin/config/local 也一起导入（默认跳过，会污染目标实例）

  --out OUT             输出目录（--format mongo 时不需要）

  --format {jsonl,sql,bson,mongo}

                        输出格式；mongo = 直接写入运行中的 mongod（BSON 类型保真）

  --uri URI             --format mongo 的目标连接串

  --batch BATCH         --format mongo 每批 insert_many 的条数

  --no-indexes          --format mongo 导入后不重建索引

  --ttl-indexes         --format mongo 连 TTL 索引也重建（默认不建：建了会立刻按过期时间删数据）

  --keep-existing       --format mongo 不 drop 目标集合，追加写入

  --sql-dialect {postgres,mysql}

                        SQL 方言

  --dedup               按 _id 去重（多版本 leaf page 残留时开启）

  --no-progress         关闭 tqdm 进度条

  --dry-run             只统计不写盘，用于核对提取完整性与文档计数

  --allocation-size ALLOCATION_SIZE

                        手工指定块对齐粒度（默认从 turtle / 元数据读，读不到才穷举探测）

---

mongoext recover命令介绍

 

G:\mongodb\mongoext>mongoext.exe recover -h

usage: mongoext recover [-h] [--orphans DBPATH] [--db DB] [--collection COLLECTION] [--meta-dir META_DIR] [--out OUT]

                        [--format {jsonl,sql,bson,mongo}] [--uri URI] [--batch BATCH] [--no-indexes] [--ttl-indexes]

                        [--keep-existing] [--sql-dialect {postgres,mysql}] [--dedup] [--no-progress] [--dry-run]

                        [--allocation-size ALLOCATION_SIZE]

                        [wt_file]

 

positional arguments:

  wt_file               孤立的 collection-*.wt 文件

 

options:

  -h, --help            show this help message and exit

  --orphans DBPATH      批量恢复该 dbPath 里 catalog 未记录的 collection 文件

  --db DB               手工指定库名（与 --collection 一起用）

  --collection COLLECTION

                        手工指定集合名（与 --db 一起用）

  --meta-dir META_DIR   伴生文件（turtle / _mdb_catalog.wt / WiredTiger.wt）所在目录，用来反查 namespace；

                        文件已拷走但原 dbPath 还在时指过去即可

  --out OUT             输出目录（--format mongo 时不需要）

  --format {jsonl,sql,bson,mongo}

                        输出格式；mongo = 直接写入运行中的 mongod（BSON 类型保真）

  --uri URI             --format mongo 的目标连接串

  --batch BATCH         --format mongo 每批 insert_many 的条数

  --no-indexes          --format mongo 导入后不重建索引

  --ttl-indexes         --format mongo 连 TTL 索引也重建（默认不建：建了会立刻按过期时间删数据）

  --keep-existing       --format mongo 不 drop 目标集合，追加写入

  --sql-dialect {postgres,mysql}

                        SQL 方言

  --dedup               按 _id 去重（多版本 leaf page 残留时开启）

  --no-progress         关闭 tqdm 进度条

  --dry-run             只统计不写盘，用于核对提取完整性与文档计数

  --allocation-size ALLOCATION_SIZE

                        手工指定块对齐粒度（默认从 turtle / 元数据读，读不到才穷举探测）

---

常使用命令说明

 

# 看库结构

mongoext.exe info DBPATH

 

# 只统计不写盘

mongoext.exe scan DBPATH --out ./out --dry-run --dedup

 

# 全库导 JSON Lines（人看 / 给别的程序吃）

mongoext.exe scan DBPATH --out ./out --format jsonl --dedup

 

# 全库导 BSON（给 mongorestore 用）

mongoext.exe scan DBPATH --out ./out --format bson --dedup

 

# 全库导 SQL

mongoext.exe scan DBPATH --out ./out --format sql --sql-dialect mysql --dedup

 

# 保真导入运行中的 MongoDB（推荐路径）

mongoext.exe scan DBPATH --format mongo --dedup

 

# 只导一个集合

mongoext.exe scan DBPATH --format mongo --db mydb --collection users --dedup

 

# 导到远程实例

mongoext.exe scan DBPATH --format mongo \

    --uri "mongodb://user:pass@host:27017/?authSource=admin" --dedup

 

# 恢复孤立的单个 collection 文件（无 dbPath / 无 catalog）

mongoext.exe recover FILE.wt --dry-run --dedup          # 先看探测结论

mongoext.exe recover FILE.wt --db mydb --collection users --format mongo --dedup

mongoext.exe recover FILE.wt --meta-dir /原/dbPath --format mongo --dedup

 

# 批量恢复一个 dbPath 里的孤儿文件

mongoext.exe recover --orphans DBPATH --out ./out --dedup