sandea

摘要： redis 学习问题总结 http://aperise.iteye.com/blog/2310639 ehcache memcached redis 缓存技术总结 http://aperise.iteye.com/blog/2296219 redis-stat 离线安装 http://aperise 阅读全文

摘要： 1、执行index.html文件2、执行main.js文件3、main.js挂载了app.vue文件，用app.vue的templete替换index.html中的<div id="app"></div>4、main.js中注入了路由文件，将对应的组件渲染到router-view中 5、router 阅读全文

摘要： 安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包Kafka官网下载安装包 http://kafka.apache.org/down 阅读全文

摘要： 9.1 Kafka 基础知识 9.1.1 消息系统 点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接受，当没有消费者可用时，这个消息会被保存直到有 一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到 阅读全文

摘要： 常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口Zookeepe 阅读全文

摘要： 针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。 首先，Spark文档中aggregate函数定义如下 def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, 阅读全文

摘要： nginx： 0.安装前的准备： CentOS7操作系统jdk1.8（elasticsearch-5.1.1、logstash-5.1.1需要jdk1.8环境的支持）去官网下载ELK（elasticsearch-5.1.1、logstash-5.1.1、kibana-5.1.1） 地址：https: 阅读全文

摘要： 一、HDFS基本命令行操作： 二、上传文件的简单API： 阅读全文

摘要： 不多说，直接上干货！ 问题详情 电脑8G，目前搭建3节点的spark集群，采用YARN模式。 master分配2G，slave1分配1G,slave2分配1G。（在安装虚拟机时） export SPARK_WORKER_MERMORY=1g （在spark-env.sh） 其实这个问题解决办法很简单 阅读全文

摘要： ==> 什么是parquet Parquet 是列式存储的一种文件类型 ==> 官网描述： Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless 阅读全文