2018年11月22日
logStash安装
摘要： logStash官网: https://www.elastic.co/guide/en/logstash/current/index.html 首先现在logstash，上传到服务器 logstash是用JRuby语言开发的，所以要安装JDK 解压logstash到指定目录 tar -zxvf lo 阅读全文
posted @ 2018-11-22 14:17 阿文awen 阅读(254) 评论(0) 推荐(0)
Spark性能调优
摘要： 一、分配资源 最大调节分配资源： 常用的资源调度模式有Spark Standalone和Spark On Yarn。比如说你的每台机器能够给你使用60G内存，10个cpu core，20台机器。那么executor的数量是20。平均每个executor所能分配60G内存和10个cpu core。 1 阅读全文
posted @ 2018-11-22 08:58 阿文awen 阅读(287) 评论(0) 推荐(0)
Spark调优之JVM调优
摘要： 一.JVM调优 JVM: 老年代: 存放少量生命周期长的对象,如连接池 年轻代: Spark task执行算子函数自己创建的大量对象 JVM机制: 对象进入java虚拟机之后会放在eden区域和一个survivor区域,还有一个空闲的survivor区域的是空闲的.Eden区域和一个survivor 阅读全文
posted @ 2018-11-22 08:55 阿文awen 阅读(277) 评论(0) 推荐(0)
2018年11月10日
hive连接MySQL报错
摘要： 错误如下： 错误原因如下： 所连接的mysql数据库下的user表保存的密码紊乱 解决方案如下： 1、将所连接MySQL数据的库下的user表保存的无用用户名和密码行删除，保存如下图情况 2、重启MySQL，再尝试hive连接MySQL即可 阅读全文
posted @ 2018-11-10 09:27 阿文awen 阅读(1018) 评论(0) 推荐(0)
2018年11月7日
Kafka安装
摘要： 1、下载kafka安装包 2、将kafaka安装包利用工具加载到Linux系统下 3、将kafka安装包解压到/usr/local tar -xvf kafka -C /usr/local/ 4、进入到/usr/local/kafka/config目录下 修改server.properties lo 阅读全文
posted @ 2018-11-07 10:12 阿文awen 阅读(237) 评论(0) 推荐(1)
2018年10月27日
Linux系统Mini版配置相关
摘要： 一：修改ip 编辑：vi /etc/sysconfig/network-sc/ifcfg-eth0 配置如下图： 进入到：cd /etc/udev/rules.d/ 删除：70-persisitent-net.rules 重启服务器：init 6 测试：ping www.baidu.com 二、永久 阅读全文
posted @ 2018-10-27 09:56 阿文awen 阅读(870) 评论(0) 推荐(0)
Linux系统完整安装在虚拟机Mini
摘要： 打开VMware Workstation虚拟机，然后如下图一步到位： 此处只是简单的安装Linux系统，要想查看安装后的IP等配置看： https://www.cnblogs.com/gentle-awen/p/9860254.html 阅读全文
posted @ 2018-10-27 09:37 阿文awen 阅读(613) 评论(0) 推荐(0)
2018年10月17日
hive_异常_01_（未解决）FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
摘要： 一、如果出现如下错误需要编译源码 需要重新编译Hbase-handler源码 步骤如下： 准备Jar包： 将Hbase 中lib下的jar包和Hive中lib下的jar包全部导入到一起。 记得删除里面不是jar包的内容，容易报错，如pom文件 接着项目不报错后，进行jar包的导出 接着删除hive下 阅读全文
posted @ 2018-10-17 12:15 阿文awen 阅读(1711) 评论(0) 推荐(0)
2018年10月15日
HBase的详细安装部署
摘要： 一、部署 1.Zookeeper正常部署，并且启动 2.Hadoop正常部署，并且启动 3.Hbase的解压 解压HBase到指定目录 tar -xvf /HBase.tar.gz -C /airPath 4.HBase的配置文件(conf下的文件） hbase-env.xml: hbase-sit 阅读全文
posted @ 2018-10-15 20:27 阿文awen 阅读(476) 评论(0) 推荐(0)
2018年9月11日
MyCat实现数据库与数据库之间的读写分离
摘要： 一、Mycat的安装准备： 1、jdk：要求jdk必须是1.7及以上版本 2、Mysql：推荐mysql是5.5以上版本 3、Mycat： Mycat的官方网站： http://www.mycat.org.cn/ 下载地址： https://github.com/MyCATApache/Mycat- 阅读全文
posted @ 2018-09-11 08:52 阿文awen 阅读(413) 评论(1) 推荐(1)