随笔分类 -  大数据

大数据同步工具DataX、Sqoop、Canal之比较
摘要：1.Sqoop与DataX Sqoop依赖于Hadoop生态，充分利用了map-reduce计算框架，在Hadoop的框架中运行，对HDFS、Hive支持友善，在处理数仓大表的速度相对较快，但不具备统计和校验能力。 DataX无法分布式部署，需要依赖调度系统实现多客户端，可以在传输过程中进行过滤，并 阅读全文
posted @ 2021-08-14 11:24 走码课 阅读(3518) 评论(0) 推荐(0)
Ubuntu 16.04 安装Cloudera Manager 5.15.1问题记录
摘要：后台tail -f /opt/cm-5.15.1/log/cloudera-scm-server/cloudera-scm-server.log 日志报错信息：com.cloudera.cmon.MgmtServiceLocatorException: Could not find a HOST_M 阅读全文
posted @ 2019-12-06 12:53 走码课 阅读(1133) 评论(0) 推荐(1)
修改ubuntu的密码、主机名、用户名
摘要：1.修改root密码： sudo passwd root 2.修改开机登录密码： sudo passwd 你的用户名 3.修改主机名： sudo vi /etc/hostname将其中的名字改为自己的名字 sudo vi /etc/hosts将其中的名字改为自己的名字 4.修改用户名： 注意：在修改 阅读全文
posted @ 2019-12-03 11:27 走码课 阅读(394) 评论(0) 推荐(0)
ES集群部署
摘要：1.非root用户下启动，jdk等文件夹权限给该非root用户 切换用户：su - es 2.调整文件句柄数以及可用进程数/etc/security/limits.conf * soft nofile 65536* hard nofile 65536 * soft nproc 4096* hard 阅读全文
posted @ 2019-08-28 14:42 走码课 阅读(317) 评论(0) 推荐(0)
公司内网链接阿里云服务器调试Spark程序问题记录
摘要：1.spark-env.sh中SPARK_MASTER_HOST配置为阿里云内网地址,代码中setMaster设置为阿里云外网地址 2.需要全端口内网穿透，使用的nat123-免访问者，使内网机器可以与云服务器互相通信 3.代码中spark.driver.host设置为内网穿透域名，本地hosts中 阅读全文
posted @ 2019-08-08 16:38 走码课 阅读(535) 评论(0) 推荐(0)
Hbase部署报错问题记录
摘要：各节点节点时间不一致 org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hadoopslave2,60020,1372320861420ha 阅读全文
posted @ 2019-08-02 13:13 走码课 阅读(615) 评论(0) 推荐(0)
Zookeeper启动报错问题记录
摘要：bin/zkServer.sh: 81: /home/ljj/software/zookeeper-3.4.13/bin/zkEnv.sh: Syntax error: "(" unexpected (expecting "fi") 将dash 改为　bash root@PC:~$ ls -l /b 阅读全文
posted @ 2019-05-16 10:09 走码课 阅读(356) 评论(0) 推荐(0)
Hadoop集群报错问题记录
摘要：Call From master/123.59.200.170 to localhosts:41778 failed on connection exception 1. 取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml，找到dfs.permissions属性修改为 阅读全文
posted @ 2019-04-13 18:16 走码课 阅读(243) 评论(0) 推荐(0)