随笔档案「2020年8月」 - 大羽治不了水

CDH集群部署最佳实践（转）

摘要：一、集群规划如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。合理的集群规划应该做到以下几点：充分了解当前的数据现状与业务方深入沟通，了解将会在集群上运行的业务，集群将会为业阅读全文

posted @ 2020-08-26 14:46 大羽治不了水阅读(709) 评论(0) 推荐(0)

Canal之配置，多库监听

摘要：配置说明介绍配置之前，先了解下canal的配置加载方式： Spring配置 spring配置的原理是将整个配置抽象为两部分： xxxx-instance.xml (canal组件的配置定义，可以在多个instance配置中共享) xxxx.properties (每个instance通道都有各自一阅读全文

posted @ 2020-08-26 10:26 大羽治不了水阅读(5045) 评论(2) 推荐(2)

途家网 BI 总监分享：如何搭建一个数据分析团队

摘要：以前说到数据驱动业务增长，我们第一个想到的可能是数据分析的方法。但就目前来看，数据驱动业务的增长已经成为一个不仅仅是分析方法和模型，而是包括了数据人才培养、数据架构的设计，甚至整个公司组织架构设计的企业治理问题。所以，今天我想从途家数据团队的发展、部门的构成及职责这两个方面去跟大家分享一下途家网的一阅读全文

posted @ 2020-08-26 10:14 大羽治不了水阅读(371) 评论(0) 推荐(0)

CDH安装过程中出现的问题（八）- 最坑的问题

摘要：在安装hive服务的时候，创建元数据库表失败：显示是执行脚本的时候hadoop中的which 的权限不足：which：Permission denied 开始怎么都不相信是这个原因解决办法：加入set -x显示bin的值，然后直接赋值这个文件要分发到其他的主机上直接给bin赋值，权限问题搞阅读全文

posted @ 2020-08-06 14:35 大羽治不了水阅读(179) 评论(0) 推荐(0)

CDH安装过程中出现的问题（七）-CDH Hue Load Balancer 无法启动

摘要：CDH 监控界面显示如下： Hue Load Balancer 查看日志时，并没有生成日志 Hue 日志这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的添加这两个服务这里使用yum安装这两个服务执行下面的命令 yum -y install httpd mod_ssl 阅读全文

posted @ 2020-08-06 14:28 大羽治不了水阅读(518) 评论(0) 推荐(0)

CDH安装过程中出现的问题（六）

摘要：报错：Heartbeating to master:7182 failed. 报错背景： cloudera-scm-agent 可以启动并且存活报错现象：查看报错日志：/opt/cm-5.15.1/log/cloudera-scm-agent/cloudera-scm-agent.log 报错日阅读全文

posted @ 2020-08-05 13:09 大羽治不了水阅读(624) 评论(0) 推荐(0)

CDH安装过程中出现的问题（五）- Unable to retrieve remote parcel repository manifest

摘要：报错：ERROR ParcelUpdateService:com.cloudera.parcel.components.ParcelDownloaderImpl: Unable to retrieve remote parcel repository manifest 报错背景： CDH断电后重启失阅读全文

posted @ 2020-08-05 11:32 大羽治不了水阅读(2371) 评论(1) 推荐(0)

CDH安装过程中出现的问题（四）

摘要：在重装CDH的时候需要删除文件遇到，无法删除文件夹，总是Device or resource busy，查了资料，总结一下原因 1.rm -rf {mydir}/ 删除不了，可能挂载了盘在这个目录，所以，删除不了，先卸载了目录上的盘，格式化挂载磁盘，然后在删除目录 [root@localhost / 阅读全文

posted @ 2020-08-05 11:31 大羽治不了水阅读(204) 评论(0) 推荐(0)

CDH安装过程中出现的问题（三）- CDH启动agent失败

摘要：启动agent 日志报错信息如下cd /opt/cm-5.16.0/log/cloudera-scm-agenttail -n 200 cloudera-scm-agent.logProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauth 阅读全文

posted @ 2020-08-05 11:27 大羽治不了水阅读(2175) 评论(0) 推荐(0)

CDH安装过程中出现的问题（二）

摘要：使用CM自带的脚本，在MySQL中创建CM库 [root@hadoop3 cm-5.16.1]# /opt/module/cm/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop3 -uroot -p123456 阅读全文

posted @ 2020-08-05 11:24 大羽治不了水阅读(991) 评论(0) 推荐(0)

CDH安装过程中出现的问题（一）

摘要：分别在hadoop102、hadoop103、hadoop104创建用户cloudera-scm [root@hadoop102 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server 阅读全文

posted @ 2020-08-05 10:36 大羽治不了水阅读(275) 评论(0) 推荐(0)

集群同步脚本

摘要：1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@hadoop1 ~]$ mkdir bin [root@hadoop1 ~]$ cd bin/ [root@hadoop1 bin]$ vi xsync 在该文件中编写如下代码，需要安装rsync: 阅读全文

posted @ 2020-08-05 10:26 大羽治不了水阅读(226) 评论(0) 推荐(0)

canal数据格式，client开发

摘要：1.canal数据格式： Entry Header logfileName [binlog文件名] logfileOffset [binlog position] executeTime [发生的变更] schemaName tableName eventType [insert/update/de 阅读全文

posted @ 2020-08-03 15:04 大羽治不了水阅读(1582) 评论(0) 推荐(0)

maven多个子项目、父项目之间的引用问题

摘要：项目时用到maven管理项目，在一个就项目的基础上开发新的项目；关于子项目和父项目，子项目与子项目之间的调用问题，发现自己存在不足，以下是自己查询的问题，解决了自己的疑惑。原文地址：https://www.cnblogs.com/kuoAT/p/6845876.html 问题下面是一个简略的项目阅读全文

posted @ 2020-08-03 10:13 大羽治不了水阅读(1012) 评论(0) 推荐(0)