摘要: redis 学习问题总结 http://aperise.iteye.com/blog/2310639 ehcache memcached redis 缓存技术总结 http://aperise.iteye.com/blog/2296219 redis-stat 离线安装 http://aperise 阅读全文
posted @ 2020-06-10 16:01 sandea 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 1、执行index.html文件2、执行main.js文件3、main.js挂载了app.vue文件,用app.vue的templete替换index.html中的<div id="app"></div>4、main.js中注入了路由文件,将对应的组件渲染到router-view中 5、router 阅读全文
posted @ 2020-01-03 16:02 sandea 阅读(9057) 评论(0) 推荐(1) 编辑
摘要: 安装前期准备: 1,准备三个节点(根据自己需求决定) 2,三个节点上安装好zookeeper(也可以使用kafka自带的zookeeper) 3,关闭防火墙 chkconfig iptables off 一、下载安装包Kafka官网下载安装包 http://kafka.apache.org/down 阅读全文
posted @ 2019-12-21 22:07 sandea 阅读(26089) 评论(0) 推荐(0) 编辑
摘要: 9.1 Kafka 基础知识 9.1.1 消息系统 点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接受,当没有消费者可用时,这个消息会被保存直到有 一个可用的消费者,所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统:发布者发送到 阅读全文
posted @ 2019-12-21 21:54 sandea 阅读(378) 评论(0) 推荐(0) 编辑
摘要: 常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口Zookeepe 阅读全文
posted @ 2019-12-18 18:28 sandea 阅读(1421) 评论(0) 推荐(1) 编辑
摘要: 针对Spark的RDD,API中有一个aggregate函数,本人理解起来费了很大劲,明白之后,mark一下,供以后参考。 首先,Spark文档中aggregate函数定义如下 def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, 阅读全文
posted @ 2019-12-11 10:25 sandea 阅读(599) 评论(0) 推荐(0) 编辑
摘要: nginx: 0.安装前的准备: CentOS7操作系统jdk1.8(elasticsearch-5.1.1、logstash-5.1.1需要jdk1.8环境的支持)去官网下载ELK(elasticsearch-5.1.1、logstash-5.1.1、kibana-5.1.1) 地址:https: 阅读全文
posted @ 2019-12-07 10:46 sandea 阅读(710) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS基本命令行操作: 二、上传文件的简单API: 阅读全文
posted @ 2019-12-04 13:13 sandea 阅读(2139) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 问题详情 电脑8G,目前搭建3节点的spark集群,采用YARN模式。 master分配2G,slave1分配1G,slave2分配1G。(在安装虚拟机时) export SPARK_WORKER_MERMORY=1g (在spark-env.sh) 其实这个问题解决办法很简单 阅读全文
posted @ 2019-11-25 18:29 sandea 阅读(1932) 评论(0) 推荐(0) 编辑
摘要: ==> 什么是parquet Parquet 是列式存储的一种文件类型 ==> 官网描述: Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless 阅读全文
posted @ 2019-11-23 19:32 sandea 阅读(3860) 评论(1) 推荐(0) 编辑