贾江浦

2020年2月21日

摘要：学习一个新框架方法：推荐：官网+源码跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N 阅读全文

posted @ 2020-02-21 17:13 贾江浦阅读(177) 评论(0) 推荐(0) 编辑

Hadoop1.X和Hadoop2.X

摘要： Hadoop1.X和Hadoop2.X区别 Hadoop2.x中有俩个重要的变更： a.HDFS的NameNode可以以几群的方式部署，增强了NameNode的水平扩展能力和可用性 b.MapReduce将JobTrack中的资源管理器及生命周期管理（包括定时触发及监控），拆分成俩个独立的组件，并阅读全文

posted @ 2020-02-21 15:10 贾江浦阅读(111) 评论(0) 推荐(0) 编辑

NameNode和DateNode

摘要： NameNode是什么？ Namenode是一个通常在HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。Namenode决定是否将文件映射到DataNode上的复制块上。对于最常见的3个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架阅读全文

posted @ 2020-02-21 11:39 贾江浦阅读(609) 评论(0) 推荐(0) 编辑

2019年10月24日

Apache Hive

摘要： 1.Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。主要用途：操作接口采用类SQL语法，提供快速开发的能力，功能扩展方便，用来做离线分析，比直接用MapReduce开发效率更阅读全文

posted @ 2019-10-24 23:35 贾江浦阅读(1065) 评论(0) 推荐(0) 编辑

数据库和数据仓库的区别

摘要：数据库与数据仓库的区别数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。操作性处理，叫联机事务处理OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，他是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询，修改。用户较为关心操作的阅读全文

posted @ 2019-10-24 20:31 贾江浦阅读(2553) 评论(0) 推荐(0) 编辑

数据仓库

摘要： 1.数据仓库的基本概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何阅读全文

posted @ 2019-10-24 19:54 贾江浦阅读(221) 评论(0) 推荐(0) 编辑

2019年10月23日

hadoop初体验

摘要：今日课程内容大纲 01) hadoop的简介 02) hadoop集群的搭建发行版本集群规划 hadoop源码编译(了解) hadoop集群搭建 03) hadoop集群启动与初体验 04) MapReduce的历史记录 05) HDFS的垃圾桶机制01--Apache Hadoop--介绍和发阅读全文

posted @ 2019-10-23 20:08 贾江浦阅读(227) 评论(0) 推荐(0) 编辑

JVM性能优化简介

摘要： 01. JVM是什么概述: 大白话: 全称Java Virtual Machine(Java虚拟机), 它是一个虚构出来的计算机, 通过实际的计算机来模拟各种计算机的功能. 专业版: JVM是一个进程, 用来模拟计算单元, 将.class字节码文件转成计算机能够识别的指令. //这里可以联想以前大阅读全文

posted @ 2019-10-23 20:00 贾江浦阅读(373) 评论(1) 推荐(0) 编辑

Apache Zookeerper搭建

摘要： 08-Apache Zookeerper--概述和集群相关概念（主从、主备） 01) zookeeper的介绍 01) 分布式协调服务的开源框架,主要解决分布式集群中应用系统间的一致性问题. 02) 小文件的存储系统(数据存放在内存中,数据量有大小限制), 以树形结构进行组织数据 03) 可以维护和阅读全文

posted @ 2019-10-23 19:50 贾江浦阅读(429) 评论(0) 推荐(0) 编辑

大数据导论

摘要： 01-大数据导读 01) javaEE与大数据的区别(参考:附件资料\JavaEE大数据区别.txt) 01) javaEE业务开发(品优购电商) 电商系统架构.png 02) 大数据的体系说明(抖音推荐系统电商精准推荐系统) 大数据架构处理流程.jpg 02) 大数据学习的建议: 01) 理解框阅读全文

posted @ 2019-10-23 19:47 贾江浦阅读(547) 评论(0) 推荐(0) 编辑

公告