MXC

摘要： 一、Hive的压缩和存储 1，MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEF 阅读全文

摘要： 一、Hive的简介: Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 优点： 1) 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2) 避免了去写MapReduce，减少开发人员的学习成本。 3) Hive的执行延迟比较 阅读全文

摘要： 一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费 阅读全文

摘要： 转载：https://www.cnblogs.com/minseo/p/11548177.html 一，Docker-compose简介 1，Docker-compose简介 Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。Docker-Com 阅读全文

摘要： 一、Zookeeper的特点： 1，zookeeper中存在一个leader和多个follower 2，集群中只要有半数以上的节点存活，zookeeper集群就能正常服务 3，全局数据一致：每天zookeeper的server中保存同一份相同的副本 4，更新顺序性：来自同一个client的更新请求按 阅读全文

摘要： 一、Docker安装常用的应用 1，docker安装mysql #拉取镜像mysql5.7 docker pull mysql:5.7 #启动容器(绑定对应的配置文件和日志，默认密码为123456) docker run -p 3306:3306 -it --name mysql \ -v /myd 阅读全文

摘要： 一、简介 Dockerfile是用来构建Docker镜像的构建文件，是由一系列命令和参数构成的脚本 构建三步: DockerFile文件 ==> docker build ==> docker run Dockerfile可参考官方Dockerfile文件 二、构建过程解析 1，Dockerfile 阅读全文

摘要： 一、Docker镜像 镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量和配置文件。 1，UnionFS（联合文件系统） Union文件系统（UnionFS）是一种分层、轻量级并且高性能的文件系统，它支 阅读全文

摘要： 一、Docker简述 Docker 是一个应用程序开发、部署、运行的平台，使用 go 语言开发。相较于传统的主机虚拟化，Docker 提供了轻量级的应用隔离方案，并且为我们提供了应用程序快速扩容、缩容的能力。“一次封装，到处运行”：只需要一次配置好环境，换到别的机子上就可以一键部署好，大大简化了操作 阅读全文

摘要： 一、准备环境 1，配置maven（MAVEN_HOME） 2，配置jdk（JAVA_HOME）我这里用的jdk1.8.0_121，之前碰到过一次别的版本的jdk在启动tomcat无法解析https情况，如果有这种情况建议更换jdk版本 3，配置git（我这里用的时git）或者svn根据自己需求 4， 阅读全文