ptbx

spark Transformation 和action 例子

摘要：包含算子有： Map、filter、flatMap、groupByKey、reduceByKey、SortByKey、join、cogroup 示例代码如下：阅读全文

posted @ 2017-08-27 19:03 ptbx 阅读(252) 评论(0) 推荐(0)

读取hdfs文件内容

摘要：基础环境： cdh2.71 需要注意： url地址参照 <property> <name>dfs.namenode.servicerpc-address</name> <value>node11.com:8022</value> </property> hdfs url地址参照 hdfs-site. 阅读全文

posted @ 2016-11-29 14:53 ptbx 阅读(313) 评论(0) 推荐(0)

ajax 实现异步请求

摘要： ajax实现异步请求： function onclicks() { $.ajax( { url:'../hbase/columnQualSearch.do',// 跳转到 action // data: {tableName:$("#tableName").val(), rowKey:$("#row 阅读全文

posted @ 2016-11-18 10:13 ptbx 阅读(167) 评论(0) 推荐(0)

生成HFile文件后倒入数据出现Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter

摘要：数据导入的时候出现： at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2615) at java.lang.Class.getM 阅读全文

posted @ 2016-11-04 14:03 ptbx 阅读(905) 评论(0) 推荐(0)

5.7 cm server-agent 会出现无法启动

摘要：异常信息如下：离线安装cloudera-scm-agent5.7的Unable to create the pidfile问题在离线安装Cloudera Manager启动agent出现了如下异常： /opt/cm-5.7.0/lib64/cmf/agent/build/env/lib/pyth 阅读全文

posted @ 2016-11-03 10:58 ptbx 阅读(1257) 评论(0) 推荐(0)

zookeeper集群挂了，提示

摘要： Hadoop集群意外关机后，zookeeper服务出现停止状态，日志错误提示如下：解决办法： 1、找到：dataDir=/var/lib/zookeeper 2、进入该目录：将 version-2 文件重命名或者删除都可以 3、在zookeeper实例中删除该机器服务，重新添加实例，重启该服务阅读全文

posted @ 2016-10-28 10:46 ptbx 阅读(1901) 评论(0) 推荐(0)

jsoup 解析html 页面数据

摘要：我html 页面元素： /html/body/table[2]/tbody/tr[1]/td/table/tbody/tr[1]/td[2]/font/html/body/table[2]/tbody/tr[1]/td/table/tbody/tr[2]/td[2]/div/font/span/ht 阅读全文

posted @ 2016-09-29 09:31 ptbx 阅读(416) 评论(0) 推荐(0)

shell 学习

摘要：输出是：5050 输出结果： there are dogthere are catthere are elephant 查看当前有哪些用户：检查服务器是否通阅读全文

posted @ 2016-09-22 06:21 ptbx 阅读(215) 评论(0) 推荐(0)

Spark Streaming 实现读取Kafka 生产数据

摘要：在kafka 目录下执行生产消息命令： ./kafka-console-producer --broker-list nodexx:9092 --topic 201609 在spark bin 目录下执行阅读全文

posted @ 2016-09-21 15:35 ptbx 阅读(7714) 评论(0) 推荐(0)

spark JavaDirectKafkaWordCount 例子分析

摘要： spark JavaDirectKafkaWordCount 例子分析： 1、 2、数据在输入到输出经历几个阶段：先map返回JavaDStream<String>类型然后flatMap 返回JavaDStream<String>类型在然后mapToPair返回JavaPairDStream< 阅读全文

posted @ 2016-09-21 09:57 ptbx 阅读(1253) 评论(0) 推荐(0)