摘要:1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2018-04-13 12:57 牧梦者 阅读 (28902) 评论 (0) 编辑
摘要:1.RPC原理解析 1.1 什么是RPC RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP/IP或UDP,为通信程序之间携带信息数据。RP 阅读全文
posted @ 2018-04-01 23:59 牧梦者 阅读 (11523) 评论 (5) 编辑
摘要:1. Excel2003与Excel2007 两个版本的最大行数和列数不同,2003版最大行数是65536行,最大列数是256列,2007版及以后的版本最大行数是1048576行,最大列数是16384列。 excel2003是以二进制的方式存储,这种格式不易被其他软件读取使用;而excel2007采 阅读全文
posted @ 2018-01-20 17:42 牧梦者 阅读 (17742) 评论 (27) 编辑
摘要:本文分为17个模块,分别是:Java基础、容器、多线程、反射、对象拷贝、Java web、异常、网络、设计模式、算法、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、MyBatis、MySQL、Redis、JVM。 1. Java基础 1.  阅读全文
posted @ 2019-08-06 11:11 牧梦者 阅读 (111) 评论 (2) 编辑
摘要:1. 五种主流的大数据架构 1.1 传统大数据架构 之所以叫传统大数据架构,是因为其定位是为了解决传统BI的问题,简单来说,数据分析的业务没有发生任何变化,但是因为数据量、性能等问题导致系统无法正常使用,需要进行升级改造,那么此类架构便是为了解决这个问题。可以看到,其依然保留了ETL的动作,将数据经 阅读全文
posted @ 2019-07-16 23:11 牧梦者 阅读 (289) 评论 (0) 编辑
摘要:1. 概述 UDF函数其实就是一个简单的函数,执行过程就是在Hive转换成MapReduce程序后,执行java方法,类似于像MapReduce执行过程中加入一个插件,方便扩展。UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF。 Hive可以允许用户编写自己定义的函数UDF,来 阅读全文
posted @ 2019-07-16 11:46 牧梦者 阅读 (183) 评论 (0) 编辑
摘要:1. 概述 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下 阅读全文
posted @ 2019-07-15 16:25 牧梦者 阅读 (151) 评论 (0) 编辑
摘要:1. 概述 1.1 hive的特征: 1.2 hive的优势: hive强大之处不要求数据转换成特定的格式,而是利用hadoop本身InputFormat API来从不同的数据源读取数据,同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源,或者写出不同的格式就需要不 阅读全文
posted @ 2019-07-04 01:31 牧梦者 阅读 (252) 评论 (0) 编辑
摘要:本文是基于windows 下 MongoDB 4.0编写,据了解MongoDB在3.0以后的版本中权限设置有变化。 1. 创建超级用户 安装完之后,打开命令行,进入mongodb安装目录,在bin目录下执行 mongod 启动, 该模式是不需要安全认证的模式, 启动后,使用可视化工具如:Robo 3 阅读全文
posted @ 2019-06-04 15:51 牧梦者 阅读 (550) 评论 (0) 编辑
摘要:1.概述 CDH,全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心(可扩展存储、分布式计算),最为重要的是提供基于 阅读全文
posted @ 2019-06-04 11:04 牧梦者 阅读 (3602) 评论 (0) 编辑
摘要:1. 概述 计算机网络是通过传输介质、通信设施和网络通信协议,把分散在不同地点的计算机设备互连起来的,实现资源共享和数据传输的系统。网络编程就是编写程序使互联网的两个(或多个)设备(如计算机)之间进行数据传输。Java语言对网络编程提供了良好的支持。通过其提供的接口我们可以很方便地进行网络编程。 2 阅读全文
posted @ 2019-05-05 15:20 牧梦者 阅读 (200) 评论 (0) 编辑
摘要:1. 概述 在实际开发过程中,我们经常需要调用对方提供的接口或测试自己写的接口是否合适。很多项目都会封装规定好本身项目的接口规范,所以大多数需要去调用对方提供的接口或第三方接口(短信、天气等)。 在Java项目中调用第三方接口的方式有: ①通过JDK网络类Java.net.HttpURLConnec 阅读全文
posted @ 2019-04-29 11:44 牧梦者 阅读 (4030) 评论 (0) 编辑
摘要:1. 设计模式的分类 总体来说设计模式分为三大类: 创建型模式,共五种:单例模式、原型模式、工厂方法模式、抽象工厂模式、建造者模式。 结构型模式,共七种:适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。 行为型模式,共十一种:策略模式、模板方法模式、观察者模式、迭代子模式、 阅读全文
posted @ 2019-04-26 00:33 牧梦者 阅读 (205) 评论 (0) 编辑