摘要：
1.解压maven包 2.创建maven目录（注意路径中不要有中文）里面包含maven和相对应的本地仓库 3.修改maven中的中的settings.xml配置文件，修改该节点 <localRepository>E:/maven/repository</localRepository> 将路径指向解 阅读全文
摘要：
(一)、在root用户下：(Mysql) 1.在root用户下:创建hive元数据库 create database if not exists hivedb; 2.在root用户下添加添加用户用户:hadoop 注意：这地方主机为localhost，可以自定义主机名，比如下面的spark1，需要统 阅读全文
摘要：
在linux本地创建文件夹后，用FileZilla传输文件失败了。 如果用的是普通用户，创建的文件夹是属于root用户。所以不能传输，没有权限。 修改权限：sudo chown -R lishengnan:lishengnan /opt/data01 阅读全文
摘要：
这是因为hadoop集群在启动时自动进入安全模式 查看安全模式状态：hadoop fs –safemode get 进入安全模式状态：hadoop fs –safemode enter 退出安全模式状态：hadoop fs –safemode leave 阅读全文
摘要：
start-all.sh 启动集群时，NameNode或DataNode节点启动不了，但之前可以启动。 查看hadoop中hdfs-site.xml配置文件 <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoopdata/d 阅读全文
摘要：
1.环境准备 安装JDK 申请linux普通用户 修改资源使用配置文件 优化linux内核参数 2.安装和部署elasticsearch-6.2.1 主机角色分配 下载和解压tar包 elasticsearch.yml基本配置 elasticsearch-6.2.1性能优化 3.安装插件 安装hea 阅读全文
摘要：
1、HDFS的读写流程 读：客户端或者用户通过调用DistributedFileSystem对象的Open方法打开需要读取的文件，DistributedFileSystem通过RPC协议调用NameNode，NameNode返回block块的元数据信息， 客户端根据距离值进行选择DataNode，优 阅读全文
摘要：
在做spark作业调优的方向应该首先考虑资源分配和任务并行度，当我们资源足够的情况下，再采取考虑其他边边角角的调优 一、分配更多的资源 1、分配哪些资源 cpu，memory。 2、怎么分配 1）、在给driver分配内存的时候，因为driver只是做任务的提交，所以内存一般不需要太大，通常给1-2 阅读全文
摘要：
根据相应条件抽出相应count数（myCount） 抽出总count数(totalCount) 计算百分比：myCount / totalCount * 100 四舍五入：使用ROUND函数ROUND(number，要保留的小数位)，ROUND(myCount / totalCount * 100, 阅读全文
摘要：
scala写程序跟说话一样，都是要把你的思想描述出来，但是scala最大的问题是api的符号标记太复杂， 很多都好难看懂，某些语法太过复杂，上手还是有些难度的。java很规范，但是代码太多，写逻辑很 复杂的代码时，会很麻烦。Java没有shell，这也是一个不方便的地方。java 9也将推出java 阅读全文
摘要：
Hbase的架构原理、核心概念 1.Hbase的表、行、列、列族 2.核心组件： Table和region Table在行的方向上分割为多个HRegion， 一个region由[startkey,endkey)表示，每个HRegion分散在不同的RegionServer中 client作用： 提供用 阅读全文
摘要：
这里的整合是指，将HBase作为存储数据的库，由Hive作为连接桥梁 修改 Hive hive-site.xml 将HBase的以下jar包放到Hive的lib下 我这里在Hive中创建表时，出现了 这个问题是版本适配问题，关键在Hive 下hive-hbase-handler-1.2.1.jar 阅读全文
摘要：
(一)、Linux环境下mysql的安装、SQL操作 Linux下安装MySQL (rmp --help) 基本步骤:上传软件->检查当前Linux环境是否已经安装，如发现系统自带的，先卸载->安装—>验证. 1、检查是否安装mysql :查询所有安装过的软件：rpm -qa 检查是否安装mysql 阅读全文