摘要： 经常需要对镜像内部的文件进行修改，例如在构建镜像时候修改配置文件。在使用一些开源镜像的过程中发现了一些对镜像文件进行的方式，这里以hadoop集群搭建和storm集群搭建为例介绍两种修改镜像内配置文件的方式。 一、通过context把配置文件传入镜像 step1. 在DockerFile同级目录下， 阅读全文

摘要： 参考： https://www.cnblogs.com/hxsyl/p/6118078.html https://www.oschina.net/translate/linux-netcat-command https://blog.csdn.net/qq_29499107/article/deta 阅读全文

摘要： 以电信通话记录为例 移动呼叫及其持续时间将作为对Apache Storm的输入，Storm将处理和分组在相同呼叫者和接收者之间的呼叫及其呼叫总数。 Storm编程套路： 在storm中，把对数据的处理过程抽象成一个topology，这个topology包含的组件主要是spout、bolt，以及以tu 阅读全文

摘要： 前面介绍了流计算，在流计算领域，一个热门的计算框架就是-Storm。还是先介绍概念。。。 一、Storm是什么 在流处理过程中，我们除了考虑最重要的数据处理的逻辑，还需要维护消息队列和消费者，考虑消息怎么流、怎么序列化等。而Storm就是这样一个流式计算框架，它为你完成了消息传递等这些通用模块，让你 阅读全文

摘要： 一、静态数据、流数据 以及 批量计算、实时计算 大数据分类两类：静态数据和动态数据（流数据）。针对这两类数据的计算模式分别是批量计算和实时计算。 静态数据：历史数据持久化存储在系统里，这类数据的特点是数据量大、数量有限（数据的时间区间是确定的）。例如企业为了支持决策分析而构建的数据仓库系统。 对这类 阅读全文

摘要： 感谢： http://bbs.elecfans.com/jishu_1600211_1_1.html https://www.deeplearn.me/1536.html 动态分区： 在对分区表插入数据时，不指定（或不全部指定）分区字段的值，数据会插入到哪个分区由数据自身值决定。 静态分区： 在对分 阅读全文

摘要： 参考链接： https://www.cnblogs.com/liuxianan/archive/2012/08/04/2623258.html 参考链接： https://www.cnblogs.com/liuxianan/archive/2012/08/04/2623258.html Class. 阅读全文

摘要： 是什么？ hive，是基于hadoop的数据仓库，用于处理结构化数据。适合做OLAP。存储数据结构（schema）在数据库中，处理数据进入hdfs。 大量的MR任务繁重，为了简化编写MR的工作量，hive提供了一个框架，可以把一个类似sql的查询语句翻译成MR程序，然后把job提交到hdfs上进行查 阅读全文

该文被密码保护。 阅读全文

摘要： git中文件所在位置有四个，在工作区内、在索引区内、在本地仓库、在远程仓库。处于四个位置中文件的状态分别为untracked、unmodified、modified、staged。通过三个操作可以把文件进行状态转移：git add 把工作区文件添加到索引区；git commit 把索引区文件添加到本 阅读全文