09 2022 档案
摘要：默认我们使用的hive自带的json包格式，创建表时格式为： CREATE EXTERNAL TABLE `ods.ods_test`( ... ) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS text;
阅读全文
摘要：前提是主库的MySQL开启了Binlog，不然需要修改配置，然后重启MySQL 1.主库配置 [mysqld] max_allowed_packet=1024M server-id=1 log-bin=mysql-bin binlog_format=row # 必须为FULL，MySQL-5.7后才
阅读全文
摘要：当运维丢给你一台新装的操作系统，本文将记录手工添加一个节点需要做哪些具体的操作，当前的版本是apache hadoop，未使用CDH版本。 1 系统环境设置 1.1 修改hostname 根据IP设置对应节点的名称，比如增加一个192.168.1.130节点作为数据节点。 临时设置：hostname
阅读全文
摘要：做机器迁移，导致flink程序写iceberg失败，原因是hive的元数据存储库mysql停了一段时间。 然后flink出现以下异常， org.apache.iceberg.exceptions.NotFoundException: Failed to open input stream for f
阅读全文
摘要：有5个zk节点，有1个节点查看状态一直报错： ZooKeeper JMX enabled by default Using config: /home/hadoop/bigdata/zk/bin/../conf/zoo.cfg Client port found: 2181. Client addr
阅读全文
摘要：1、备份命令 格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 --database 数据库名 > 文件名.sql 例如： mysqldump -h 192.168.1.100 -p 3306 -uroot -ppassword --database cmdb > /data/b
阅读全文
摘要：Mysql的binlog开启后一直没清理，占用太大空间 1.查看binlog过期时间 show variables like 'expire_logs_days'; expire_logs_days=0： 这里的值如果为0，表示所有binlog日志永久都不会失效，不会自动删除； 这里的值如果为30，
阅读全文
摘要：1. 原因 写入iceberg表时，会在hive_locks表中插入一条记录，表示该表正在被写入(hive中的独占锁) 当数据插入完成后，会自动删除该条记录。 2. 出现场景 （1）在同时往同一个iceberg表中写入数据时，会出现Retrying task after failure: Waiti
阅读全文
摘要：SQL 错误 [1] [08S01]: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.i
阅读全文
摘要：执行spark任务居然碰到了hive中表的被锁了，导致写数据时失败，这个还真是头一次碰到过这回事。 错误信息如下： 22/09/04 21:02:28 WARN Tasks: Retrying task after failure: Waiting for lock. org.apache.iceb
阅读全文
摘要：感悟：有时候很简单的笨办法，比那些高大上的技术要实用的多。 有一个数据同步，大约4亿条记录，没有分区。现在要按照天，小时分区写入到iceberg的分区表中。 源数据中本身就是很多几十k大小的非常多的小文件。 于是在读取时，总想着要shuffle，合并小文件,于是是这样的： hive_df = spa
阅读全文
浙公网安备 33010602011771号