流浪在伯纳乌

公告

2017年4月9日

摘要：应该是端口问题，找不到spark节点。手动设置端口号 spark-shell --conf spark.shuffle.service.enabled=true --conf spark.replClassServer.port=15002 阅读全文

posted @ 2017-04-09 19:28 流浪在伯纳乌阅读(1485) 评论(0) 推荐(0)

监控spark-sql 等脚本

摘要： #!/bin/bash iplist=( #10.130.2.20 10.130.2.22 10.130.2.40 10.130.2.41 10.130.2.42 10.130.2.44 10.130.2.45) kill -9 `lsof -i:11000|awk 'NR>1 {print $2} 阅读全文

posted @ 2017-04-09 19:16 流浪在伯纳乌阅读(337) 评论(0) 推荐(0)

spark 相关配置 shuffle 相关配置选项

摘要：在master的/conf/spark-defaults.conf中配置 spark.shuffle.service.enabled true spark.shuffle.service.port 7337 但是在从节点的spark-defaults.conf中注释上面两个配置选项，不然web 界面阅读全文

posted @ 2017-04-09 19:07 流浪在伯纳乌阅读(903) 评论(0) 推荐(0)

spark on Yarn 语句

摘要： spark-shell on Yarn /opt/spark-1.6.1-bin-hadoop2.6/bin/spark-shell --master yarn --deploy-mode client --conf spark.shuffle.service.enabled=true --conf 阅读全文

posted @ 2017-04-09 18:59 流浪在伯纳乌阅读(180) 评论(0) 推荐(0)

使用hive thriftserver 连接spark sql

摘要：需求：使用spark sql 的执行引擎来操作hive数据仓库中的数据，使用hive thriftserver 服务 cd /opt/modules/spark-1.6.1-bin-hadoop2.6/sbin/sudo vim start-thriftserver-withJDBC.sh修改如下：阅读全文

posted @ 2017-04-09 18:55 流浪在伯纳乌阅读(2872) 评论(0) 推荐(0)

2017年4月5日

HBase 报错系列之region is not online

摘要：报错信息： ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: Received CLOSE for a region which is not online, and we're not opening. 2016-12-07 16: 阅读全文

posted @ 2017-04-05 20:42 流浪在伯纳乌阅读(3816) 评论(0) 推荐(0)

HBase 表迁移中对丢失的表检查使用的语句

摘要：在进行表检查时报错： org.apache.hadoop.hbase.TableNotFoundException: ods_matchinfo 改表丢失了将报错的表删除,执行hbase hbck -fixMeta hbase hbck –fixAssignments 直到都没有报错。解决命令如阅读全文

posted @ 2017-04-05 20:36 流浪在伯纳乌阅读(409) 评论(0) 推荐(0)

HBase报错系列之建表问题

摘要：问题描述：HBase建表时 ERROR: Table already exists: ods_yz_trader_transactionsd_1! 删除此表时报：table not exists 解决办法： 1 查看hdfs 相应的目录下是否有该表 hdfs dfs -ls /hbases/data 阅读全文

posted @ 2017-04-05 20:32 流浪在伯纳乌阅读(1011) 评论(0) 推荐(0)

强制命令-hdfs 主备间切换

摘要：报错：两个Namenode 都处于Standby状态，HDFS使用失败查看hdfs-site.xml 中serviceid 执行 sudo -u hdfs hdfs haadmin -transitionToActive --forcemanual +serviceid 阅读全文

posted @ 2017-04-05 20:26 流浪在伯纳乌阅读(2310) 评论(0) 推荐(0)

未解决-hive之drop 表分区失败

摘要：报错如下：报错说root也没有权限，可能是当初建表的时候问题？还是hive 元数据库中的权限问题？求解答阅读全文

posted @ 2017-04-05 20:23 流浪在伯纳乌阅读(310) 评论(0) 推荐(0)