2019年5月21日
cdh_host
摘要： 测试环境平台别名 操作系统 地址 用户名 密码 部署系统cpu(core) 内存(G) 硬盘(G)fvt-d-worker-01 Red Hat Enterprise Linux Server release 6.5 (Santiago) 10.60.81.157 jboss Qhiptt_9 4 阅读全文
posted @ 2019-05-21 16:13 何国秀_xue 阅读(235) 评论(0) 推荐(0) 编辑
CDH相关包的下载地址：
摘要： CDH相关包的下载地址：http://archive.cloudera.com/cm5/cm/5/http://archive.cloudera.com/cdh5/parcels/latest/ 用户：userdel -r cloudera-scm ps -ef | grep cloudera-sc 阅读全文
posted @ 2019-05-21 16:09 何国秀_xue 阅读(2564) 评论(0) 推荐(0) 编辑
2019年4月12日
spark小文件合并解决多级分区
摘要： package spark10.access import java.text.SimpleDateFormatimport java.util.Date import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Lo 阅读全文
posted @ 2019-04-12 11:09 何国秀_xue 阅读(1172) 评论(0) 推荐(0) 编辑
spark解决text乱码问题
摘要： package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.{SparkConf, SparkC 阅读全文
posted @ 2019-04-12 09:03 何国秀_xue 阅读(1760) 评论(0) 推荐(0) 编辑
spark解决josn乱码问题
摘要： package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.sql.hive.HiveConte 阅读全文
posted @ 2019-04-12 09:03 何国秀_xue 阅读(570) 评论(0) 推荐(0) 编辑
2019年4月11日
spark保存数据到hdfsJ及hive
摘要： package spark88 import org.apache.spark.sql.{DataFrame, Row, SQLContext, SaveMode}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark. 阅读全文
posted @ 2019-04-11 17:24 何国秀_xue 阅读(1832) 评论(0) 推荐(0) 编辑
spark小文件合并
摘要： package spark99 import java.io.IOException import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Loggerimport org.apache.spark.sql.hiv 阅读全文
posted @ 2019-04-11 17:23 何国秀_xue 阅读(3312) 评论(0) 推荐(0) 编辑
2019年2月27日
Python网络爬虫
摘要： import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport jsonimport pandasimport sqlite3 commenturl = 'http://comment5 阅读全文
posted @ 2019-02-27 08:38 何国秀_xue 阅读(191) 评论(0) 推荐(0) 编辑
2019年2月26日
hbase宕机分析与处理
摘要： 1 Hbase宕机分析 1.1 宕机问题分析 Hbase的Regionserver进程随机挂掉（该异常几乎每次都发生，只是挂掉的Regionserver节点不同） HMaster进程随机挂掉 主备Namenode节点随机挂掉 Zookeeper节点随机挂掉 Zookeeper连接超时 JVM GC睡 阅读全文
posted @ 2019-02-26 17:55 何国秀_xue 阅读(1395) 评论(0) 推荐(0) 编辑
2019年2月21日
集群服务
摘要： 01. IP：171.196.43.101 Host：headmachine CPU：24个 Mem：96G 02. IP：171.196.43.102 Host：dc01 CPU：24个 Mem：96G03. IP：171.196.43.103 Host：dt01 CPU：24个 Mem：96G0 阅读全文
posted @ 2019-02-21 15:32 何国秀_xue 阅读(179) 评论(0) 推荐(0) 编辑
下一页