摘要： 准备：1. 规划3个集群节点: hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2, 且已经进行ssh免密配置，确保端口互通，防火墙关闭 1. 下载 https://www.scala-lang.org/download/选择scala-2.13.3.tgz，如 阅读全文

摘要： 2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0 正式发布！ Apache Spark 3.0.0版本包含3400多个补丁，是开源社区做出巨大贡献的结晶，在Python和SQL功能方面带来了重大进展并且将重点聚焦在了开发和生产的易用性上。同时，今年 阅读全文

摘要： 一 安装前准备 下载hbase-2.2.5的JAR包后发现，lib中自带的是hadoop2.8.5和zookeeper-3.4.10版本，下载hbase-2.3.0的JAR包后发现，lib中自带的是hadoop2.10和zookeeper-3.5.7版本，因此这几个版本肯定是比较好的，不过本人不打算 阅读全文

摘要： 1. idea新建一个Java的maven工程: pom.xml加入以下依赖(我zk服务装的3.5.8，但是pom引入总是失败，亲测3.4.11可以成功，也就是客户端版本不一定要和服务端版本一致) <dependencies> <dependency> <groupId>org.apache.zoo 阅读全文

摘要： 安装： 参考：https://www.cnblogs.com/ysocean/p/9860529.html下载地址：http://mirror.bit.edu.cn/apache/zookeeper/ 本次选择zookeeper-3.5.8版本注意下载那个带bin的，文件大小大些的apache-zo 阅读全文

摘要： hadoop3的datanode数据节点进程无法正常启动 阅读全文

摘要： https://segmentfault.com/a/1190000006838239 hadoop启动遇到的各种问题 1. HDFS initialized but not 'healthy' yet, waiting... 这个日志会在启动hadoop的时候在JobTracker的log日志文件 阅读全文

摘要： org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use: master:50070 阅读全文

摘要： Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索，全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎，可以采集来自不同数据源的数据，并对数据进行处理后输出到多种输出源，是Elastic Stack 阅读全文

摘要： 一、为什么需要流程管理 1、组织运作的“黑箱”，流程是组织从人治到法治转变的重要手段，“法治”是企业发展的必经之路。 2、流程发展的历史：1911 泰勒科学管理、1960 戴明只看管理、1970 欧威特/乔伯劳士 MRP、1990 哈默流程再造（BPR）、流程改进（BPI） 3、流程在企业内发展阶段 阅读全文