lsp66

摘要： 系统层面优化 CPU / 内存隔离：Linux 下通过yarn-site.xml为 HBase MR 任务分配专属资源： yarn.scheduler.maximum-allocation-mb 16384 mapreduce.map.memory.mb 8192 磁盘 IO 优化：MR 临时目录配 阅读全文

摘要： 写入 HBase 表的 MR 任务 （1）核心配置（Linux） MR 输出到 HBase 需指定TableOutputFormat，并配置输出表名： // 设置输出格式为TableOutputFormat job.setOutputFormatClass(TableOutputFormat.cla 阅读全文

摘要： Linux 下 HBase+MapReduce 核心操作 读取 HBase 表的 MR 任务（经典场景：数据统计） （1）开发与编译（Linux） 编写 MR 程序（Java），核心代码示例（统计指定列族数据量）： // 设置输入为HBase表 Configuration conf = HBaseC 阅读全文

摘要： 同步数据回滚 MySQL 数据回滚→HBase 回滚： MySQL 通过 binlog2sql 工具生成回滚 SQL，执行数据回滚； Linux 下导出 HBase 指定版本数据（回滚前版本），重新写入： hbase shell> scan 'hbase_t1', {TIMERANGE => [17 阅读全文

摘要： （1）基于时间戳的增量导出（Sqoop） Linux 下通过 Sqoop 的--where参数实现 MySQL 增量数据同步到 HBase，结合 crontab 定时执行： 同步MySQL中update_time大于上次同步时间的数据 sqoop import --connect jdbc:mysq 阅读全文

摘要： MySQL 的复杂类型（JSON、ENUM、BLOB）需适配 HBase 的字节存储特性： MySQL JSON → HBase 字符串：Linux 下通过 Sqoop 自定义--map-column-java参数转换： sqoop import --connect jdbc:mysql://mys 阅读全文

摘要： 常见问题排查（Linux 环境） Sqoop 同步失败 检查驱动包：确认sqoop/lib下 MySQL 驱动版本与 MySQL 服务端兼容； 权限问题：Linux 执行用户需有 HBase 表写入权限、MySQL 访问权限； 字段类型不匹配：MySQL 的datetime需转为 HBase 的字符 阅读全文

摘要： 监控数据写入：通过 Linux 定时任务（crontab）调用脚本，采集 HBase 监控数据（hbase status/JMX），写入 MySQL： crontab -e 配置每分钟采集一次 */1 * * * * /usr/local/scripts/hbase_monitor.sh >> /v 阅读全文

摘要： 从 HBase 导出数据到 MySQL（Linux） （1）Sqoop 反向导出 sqoop export --connect jdbc:mysql://mysql-ip:3306/mydb --username root --password Mysql@123 --table mysql_tab 阅读全文

摘要： 从 MySQL 同步数据到 HBase（批量 / 实时） （1）批量同步：Sqoop（Linux 下最常用） Sqoop 是 Hadoop 生态工具，可将 MySQL 关系型数据导入 HBase，适合离线批量同步： 安装 Sqoop（Linux）： wget https://archive.apac 阅读全文