摘要：前言 本文将总结项目中用到的一些springboot 的技巧，持续更新。 Mybatis-Plus 的运用 使用原因： 主要是节省了Mapper层的编写，通过继承BaseMapper可以直接调用通用的sql 1. 修改pom.xml文件，加入mybatis-plus-boot-starter包，去掉 阅读全文

摘要：前言 本文主要介绍Hive 的基础概念，以及Handoop的大体架构，组件依赖，对于大数据有个总体的认识 Hive 基础概念 官网：https://hive.apache.org/ The Apache Hive ™ data warehouse software facilitates readi 阅读全文

摘要：前言 大数据的基础离不开Hbase， 本文就hbase的基础概念，特点，以及框架进行简介， 实际操作种需要注意hbase shell的使用。 Hbase 基础 官网：https://hbase.apache.org/ Apache HBase™ is the Hadoop database, a d 阅读全文

摘要：前言 项目中碰到CDN专用名词： 回源， 然后不知道什么意思，反过来查询了一下CDN相关的一些基本术语，特做记录 CDN基础概念 CDN （Content Delivery Network，即内容分发网络）指的是一组分布在各个地区的服务器。这些服务器存储着数据的副本，通过在网络各处放置节点服务器所构 阅读全文

摘要：前言 本文主要是记录下工作中可能用到的一些linux指令，当作字典查用 Crontab 基本命令 # 安装 yum -y install vixie-cron crontabs#查看状态 service crond status#启动 service crond start#关闭 service c 阅读全文

摘要：前言 上文已经介绍了与Spark 息息相关的MapReduce计算模型，那么相对的Spark的优势在哪，有哪些适合大数据的生态呢？ Spark对比MapReduce，Hive引擎，Storm流式计算引擎 1.如果数据超过1T了基本就不能用spark了，还是会选择MapReduce，MapReduce 阅读全文

摘要：前言 项目中运用了Spark进行Kafka集群下面的数据消费，本文作为一个Spark入门文章/笔记，介绍下Spark基本概念以及MapReduce模型 Spark的基本概念： 官网： http://spark.apache.org/ 给出了如下概念 Apache Spark™ is a unifie 阅读全文

摘要：前言 项目中用到了Kafka 这种分布式消息队列来处理日志，本文将对Kafka的基本概念和原理做一些简要阐释 Kafka 的基本概念 官网解释： Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常 阅读全文

摘要：前言 项目中用到了Kylin框架来处理数据，那么作为项目成员需要了解哪些关于Kylin的知识呢，本文就Kylin得基本概念和原理进行简述。 Kylin基本概念 首先想到的学习路径是Kylin官网： http://kylin.apache.org/cn/ 给出的概念是： Apache Kylin™是一 阅读全文