摘要:php没有官方的kafka扩展,所以我们需要找到社区版的插件用。 目前有一个比较火的kafka扩展,这个扩展是用C写的,直接通过pecl安装。地址:https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html 安装这个插件有 阅读全文
posted @ 2020-01-17 15:52 梁天 阅读 (18) 评论 (0) 编辑
摘要:发车 为什么要在elasticsearch中要使用ik这样的中文分词呢,那是因为es提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。今天我们就尝试安装下IK分词。 上车 1、去github 下载对应的分词插件https://github.com/me 阅读全文
posted @ 2020-01-17 12:51 梁天 阅读 (27) 评论 (0) 编辑
摘要:上车 Head是elasticsearch的集群管理工具,可以用于数据的浏览和查询。elasticsearch-head是一款开源软件,被托管在github上面,所以如果我们要使用它,必须先安装git,通过git获取elasticsearch-head运行elasticsearch-head会用到g 阅读全文
posted @ 2020-01-17 12:49 梁天 阅读 (16) 评论 (0) 编辑
摘要:上车 Kibana是一个针对Elasticsearch的开源分析可视化平台,使用Kibana可以查询,查看并存储在ES索引的数据进行交互操作,使用Kibana能执行高级的数据分析,并且以图表,表格和地图的形式查看数据。 注意:你的es版本是多少 就下载对应版本的kibana 发车 下载Kibana  阅读全文
posted @ 2020-01-17 12:47 梁天 阅读 (8) 评论 (0) 编辑
摘要:上车 最近在接手项目里面的es相关的业务,预计最近一段会更新一个es系列文章。大家可以收藏下我的博客,写的不管好不好欢迎大家给我留言。感谢大家! 今天我们讲下怎么安装es, 为什么不讲7.0呢,因为目前业务用的就是6版本,所以这里只记录6版本安装了,其实差不多的,就是7.0 需要用到java 11了 阅读全文
posted @ 2020-01-17 12:46 梁天 阅读 (11) 评论 (0) 编辑
摘要:上车 今天我们尝试在 mac 下面用 docker 安装redis . 发车 1、docker环境必须与装好 可以在 docker官网下载。 2、去dockerhub找到对应的redis官方镜像 https://hub.docker.com/_/redis 我想装的是4.0版本 去对应的4.0的 g 阅读全文
posted @ 2020-01-17 12:44 梁天 阅读 (14) 评论 (0) 编辑
摘要:简介 Yet Another Resource Negotiator ,负责整个集群资源的调度,和管理,支持多框架资源统一调度(HIVE spark flink) 开启yarn 安装hadoop,可以看我之前的博文 这边就不讲了 编辑 etc/hadoop/mapred-site.xml: 添加如下 阅读全文
posted @ 2020-01-17 12:42 梁天 阅读 (17) 评论 (0) 编辑
摘要:1.MapReduce是什么 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词, 一是软件框架,二是并行处理,三是可靠 阅读全文
posted @ 2020-01-17 12:34 梁天 阅读 (114) 评论 (0) 编辑
摘要:HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚至可以通过Web协议(webhsfs)来操作。HDFS的文件分布在集群机器上,同时提供副本进行容错及可靠性保证。例 阅读全文
posted @ 2020-01-17 12:29 梁天 阅读 (10) 评论 (0) 编辑
摘要:本篇文章单节点安装 hdfs hive ,实乃学习大数据必备的教程,环境为:Centos7 JDK8.0 cdh5.15.1 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hadoop版本:hadoop-2.6.0-cdh5.15.1.tar.gz hi 阅读全文
posted @ 2020-01-17 10:15 梁天 阅读 (17) 评论 (0) 编辑
摘要:原地址:https://www.jianshu.com/p/0d8fc3df3647?from=timeline&isappinstalled=0 很久之前,我在《effective java》上看过Builder构建器相关的内容,但实际开发中不经常用。后来,在项目中使用了lombok,发现它有一个 阅读全文
posted @ 2019-07-17 19:09 梁天 阅读 (53) 评论 (0) 编辑
摘要:栈的简介: 栈是一种特殊的线性表,特殊之处在于插入和删除操作的位置受到限制,若插入和删除操作只允许在线性表的一端进行,则是栈,特点是后进先出。 栈的抽象数据模型: 栈(stack) 是一种特殊的线性表,其插入和删除操作只允许在线性表的一端进行,允许操作的一端称为 栈顶(top)不允许操作的一端称谓栈 阅读全文
posted @ 2019-07-02 21:21 梁天 阅读 (48) 评论 (0) 编辑
摘要:简介 字符串(String)是由字符组成有限序列,是常用的一种非数值数据,串的逻辑结构是线性表,串是一种特殊的线性表,限制其元素类型是字符,串的操作特点与线性表不同,主要对子串进行操作,通常采用顺序存储结构存储。 串的基本概念 串定义:一个串是由n(n>=0) 个字符组成的有限序列 记做s="s0 阅读全文
posted @ 2019-06-16 21:39 梁天 阅读 (66) 评论 (0) 编辑
摘要:1. 准备JDK包,分别是1.7和1.8,jdk-7u79-linux-x64.tar.gz和jdk-8u161-linux-x64.gz; 2. 解压,解压后的目录结构如图所示: JDK1.7: JDK1.8: 3. 然后我们需要为每个版本的Java指定自己的编码,以便在切换的时候进行选择Java 阅读全文
posted @ 2019-05-30 11:14 梁天 阅读 (146) 评论 (0) 编辑
摘要:什么是线性表 线性表是其组成元素间具有线性关系的一种线性结构,对线性表的基本操作主要有获得元素,设置元素值,遍历,插入,删除,查找,替换,和排序等,在线性表任意位置都可以插入和删除,可以采用顺序存储结构和链式存储结构表示线性表。 存储类别 顺序存储结构 单链表 存储分配方式 用一段连续的存储单元依次 阅读全文
posted @ 2019-05-09 23:01 梁天 阅读 (164) 评论 (0) 编辑