摘要:php没有官方的kafka扩展,所以我们需要找到社区版的插件用。 目前有一个比较火的kafka扩展,这个扩展是用C写的,直接通过pecl安装。地址:https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html 安装这个插件有 阅读全文
posted @ 2020-01-17 15:52 梁天 阅读 (22) 评论 (0) 编辑
摘要:发车 为什么要在elasticsearch中要使用ik这样的中文分词呢,那是因为es提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。今天我们就尝试安装下IK分词。 上车 1、去github 下载对应的分词插件https://github.com/me 阅读全文
posted @ 2020-01-17 12:51 梁天 阅读 (30) 评论 (0) 编辑
摘要:上车 Head是elasticsearch的集群管理工具,可以用于数据的浏览和查询。elasticsearch-head是一款开源软件,被托管在github上面,所以如果我们要使用它,必须先安装git,通过git获取elasticsearch-head运行elasticsearch-head会用到g 阅读全文
posted @ 2020-01-17 12:49 梁天 阅读 (27) 评论 (0) 编辑
摘要:上车 Kibana是一个针对Elasticsearch的开源分析可视化平台,使用Kibana可以查询,查看并存储在ES索引的数据进行交互操作,使用Kibana能执行高级的数据分析,并且以图表,表格和地图的形式查看数据。 注意:你的es版本是多少 就下载对应版本的kibana 发车 下载Kibana  阅读全文
posted @ 2020-01-17 12:47 梁天 阅读 (12) 评论 (0) 编辑
摘要:上车 最近在接手项目里面的es相关的业务,预计最近一段会更新一个es系列文章。大家可以收藏下我的博客,写的不管好不好欢迎大家给我留言。感谢大家! 今天我们讲下怎么安装es, 为什么不讲7.0呢,因为目前业务用的就是6版本,所以这里只记录6版本安装了,其实差不多的,就是7.0 需要用到java 11了 阅读全文
posted @ 2020-01-17 12:46 梁天 阅读 (16) 评论 (0) 编辑
摘要:上车 今天我们尝试在 mac 下面用 docker 安装redis . 发车 1、docker环境必须与装好 可以在 docker官网下载。 2、去dockerhub找到对应的redis官方镜像 https://hub.docker.com/_/redis 我想装的是4.0版本 去对应的4.0的 g 阅读全文
posted @ 2020-01-17 12:44 梁天 阅读 (23) 评论 (0) 编辑
摘要:简介 Yet Another Resource Negotiator ,负责整个集群资源的调度,和管理,支持多框架资源统一调度(HIVE spark flink) 开启yarn 安装hadoop,可以看我之前的博文 这边就不讲了 编辑 etc/hadoop/mapred-site.xml: 添加如下 阅读全文
posted @ 2020-01-17 12:42 梁天 阅读 (30) 评论 (0) 编辑
摘要:1.MapReduce是什么 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词, 一是软件框架,二是并行处理,三是可靠 阅读全文
posted @ 2020-01-17 12:34 梁天 阅读 (120) 评论 (0) 编辑
摘要:HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚至可以通过Web协议(webhsfs)来操作。HDFS的文件分布在集群机器上,同时提供副本进行容错及可靠性保证。例 阅读全文
posted @ 2020-01-17 12:29 梁天 阅读 (13) 评论 (0) 编辑
摘要:本篇文章单节点安装 hdfs hive ,实乃学习大数据必备的教程,环境为:Centos7 JDK8.0 cdh5.15.1 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hadoop版本:hadoop-2.6.0-cdh5.15.1.tar.gz hi 阅读全文
posted @ 2020-01-17 10:15 梁天 阅读 (37) 评论 (0) 编辑