摘要：
cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉 阅读全文
posted @ 2019-01-16 11:56
RZ_Lee
阅读(1231)
评论(0)
推荐(0)
摘要：
1.添加pagehelper依赖 2.在yml配置 3.controller 阅读全文
posted @ 2019-01-10 23:11
RZ_Lee
阅读(366)
评论(0)
推荐(0)
摘要：
如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10， 解决方案 可以在core-site.xml文件中修改ha.health-monitor.rpc-timeout.ms参数值，来扩大zkfc监控检查超时时间。 阅读全文
posted @ 2019-01-02 22:27
RZ_Lee
阅读(1452)
评论(0)
推荐(0)
摘要：
1、客户端先到zookeeper查找hbase:meta所在的RegionServer服务器 2、去hbase:meta表查找自己所要的数据所在的region server 3、去目标region server上的region要自己的数据 可以看出客户端查找数据可以不经过master 阅读全文
posted @ 2019-01-01 12:50
RZ_Lee
阅读(402)
评论(0)
推荐(0)
摘要：
Shared Variables Normally, when a function passed to a Spark operation (such as map or reduce) is executed on a remote cluster node, it works on separ 阅读全文
posted @ 2018-11-03 12:14
RZ_Lee
阅读(540)
评论(0)
推荐(0)
摘要：
Spark- Action实战 阅读全文
posted @ 2018-11-02 00:29
RZ_Lee
阅读(155)
评论(0)
推荐(0)
摘要：
RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发任务执行RDD不存在真正要计算的数据,而是记录了RDD的转换关系(调用了什么方法,传入什么函数) RDD的 Trans formation的特点1. lazy2.生成新的RDD #union求并集，注意类 阅读全文
posted @ 2018-11-01 23:42
RZ_Lee
阅读(168)
评论(0)
推荐(0)
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-09-03 14:44
RZ_Lee
阅读(8)
评论(0)
推荐(0)
摘要：
Spark setMaster源码 要连接到的主URL，例如“local”用一个线程在本地运行，“local [ 4 ]”用4个内核在本地运行，或者“Spark : / / master : 7077”用Spark独立集群运行。 基于排序机制的wordCount java 版本: scala版本: 阅读全文
posted @ 2018-08-31 00:53
RZ_Lee
阅读(914)
评论(0)
推荐(0)
摘要：
jupyter运维常见CLI 查看安装的内核和位置 anaconda列出所有的环境 阅读全文
posted @ 2018-08-28 13:49
RZ_Lee
阅读(202)
评论(0)
推荐(0)
浙公网安备 33010602011771号