摘要:1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2018-04-13 12:57 牧梦者 阅读 (37252) 评论 (2) 编辑
摘要:1.RPC原理解析 1.1 什么是RPC RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP/IP或UDP,为通信程序之间携带信息数据。RP 阅读全文
posted @ 2018-04-01 23:59 牧梦者 阅读 (13623) 评论 (5) 编辑
摘要:1. Excel2003与Excel2007 两个版本的最大行数和列数不同,2003版最大行数是65536行,最大列数是256列,2007版及以后的版本最大行数是1048576行,最大列数是16384列。 excel2003是以二进制的方式存储,这种格式不易被其他软件读取使用;而excel2007采 阅读全文
posted @ 2018-01-20 17:42 牧梦者 阅读 (20090) 评论 (59) 编辑
摘要:1. 什么是DistCp DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法,这个工具在语义和执行 阅读全文
posted @ 2019-11-18 16:40 牧梦者 阅读 (6) 评论 (0) 编辑
摘要:1. Idea自身打包方式 1.1 创建Artifacts 快捷键(Ctrl+Alt+Shift+S)打开项目的Project Structure。在Artifacts创建 接着,指定main class,如下: 最后,得到创建得到的artifacts 1.2 打包Artifacts 在菜单栏目选B 阅读全文
posted @ 2019-10-31 22:32 牧梦者 阅读 (95) 评论 (0) 编辑
摘要:1. UV、PV、TopN概念 1.1 UV(unique visitor) 即独立访客数 指访问某个站点或点击某个网页的不同IP地址的人数。在同一天内,UV只记录第一次进入网站的具有独立IP的访问者,在同一天内再次访问该网站则不计数。UV提供了一定时间内不同观众数量的统计指标,而没有反应出网站的全 阅读全文
posted @ 2019-09-30 23:52 牧梦者 阅读 (77) 评论 (0) 编辑
摘要:本文分为17个模块,分别是:Java基础、容器、多线程、反射、对象拷贝、Java web、异常、网络、设计模式、算法、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、MyBatis、MySQL、Redis、JVM。 1. Java基础 1.  阅读全文
posted @ 2019-08-06 11:11 牧梦者 阅读 (207) 评论 (2) 编辑
摘要:1. 五种主流的大数据架构 1.1 传统大数据架构 之所以叫传统大数据架构,是因为其定位是为了解决传统BI的问题,简单来说,数据分析的业务没有发生任何变化,但是因为数据量、性能等问题导致系统无法正常使用,需要进行升级改造,那么此类架构便是为了解决这个问题。可以看到,其依然保留了ETL的动作,将数据经 阅读全文
posted @ 2019-07-16 23:11 牧梦者 阅读 (655) 评论 (0) 编辑
摘要:1. 概述 UDF函数其实就是一个简单的函数,执行过程就是在Hive转换成MapReduce程序后,执行java方法,类似于像MapReduce执行过程中加入一个插件,方便扩展。UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF。 Hive可以允许用户编写自己定义的函数UDF,来 阅读全文
posted @ 2019-07-16 11:46 牧梦者 阅读 (827) 评论 (0) 编辑
摘要:1. 概述 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下 阅读全文
posted @ 2019-07-15 16:25 牧梦者 阅读 (237) 评论 (0) 编辑
摘要:1. 概述 1.1 hive的特征: 1.2 hive的优势: hive强大之处不要求数据转换成特定的格式,而是利用hadoop本身InputFormat API来从不同的数据源读取数据,同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源,或者写出不同的格式就需要不 阅读全文
posted @ 2019-07-04 01:31 牧梦者 阅读 (943) 评论 (0) 编辑
摘要:本文是基于windows 下 MongoDB 4.0编写,据了解MongoDB在3.0以后的版本中权限设置有变化。 1. 创建超级用户 安装完之后,打开命令行,进入mongodb安装目录,在bin目录下执行 mongod 启动, 该模式是不需要安全认证的模式, 启动后,使用可视化工具如:Robo 3 阅读全文
posted @ 2019-06-04 15:51 牧梦者 阅读 (1661) 评论 (0) 编辑
摘要:1.概述 CDH,全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心(可扩展存储、分布式计算),最为重要的是提供基于 阅读全文
posted @ 2019-06-04 11:04 牧梦者 阅读 (5609) 评论 (0) 编辑