hskq

摘要： MapReduce的定义： MapReduce是一个分布式运算程序的编程框架，是用户基于“Hadoop的数据分析应用”的核心框架 MapReduce核心功能是将用户编写的业务逻辑代码和自带的默认组件构成一个完整的分布式运算程序，并运行在Hadoop集群上 MapReduce的缺点： 1.不擅长做实时 阅读全文

摘要： HDFS的简介：HDFS的产生背景：随着数据量的越来越大，一个操作系统存储不下所有的数据。需要分配到更多的操作系统管理的磁盘上存储。但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，HDFS只是分布式文件管路系统的一种。 HDFS的简介：HDFS是一个分布式文件 阅读全文

摘要： namenode内部通信端口： 8020/9820 namenode web访问端口： 9870 mapreduce web端查看正在执行的任务端口： 8088 历史服务器 web端口：19888 阅读全文

摘要： 集群同步分发脚本： my_xsync.sh #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop102 hadoop103 hadoop104 do ec 阅读全文

摘要： Hadoop入门 大数据：无法在一定时间内，通过常规的技术手段解决的信息资产。 Hadoop就是解决大数据存储、计算问题的框架 Hadoop生态圈（Hadoop是核心） Hadoop的组成：Hadoop1.x时，hdfs负责大数据的存储 mapreduce负责大数据的计算和资源调度 Hadoop2. 阅读全文

摘要： Scala：Scala将面向对象和函数式编程结合成一种简洁的高级语言 Scala语言的特点：1.Scala是一门多范式的编程语言，支持面向对象和函数式编程。（多范式，就是多种编程方法） 2. Scala的源码通过scalac编译器编译为Java的字节码文件（class），然后运行在JVM上 使用Sc 阅读全文

摘要： 数据结构：研究组织数据方式的学科。 计算机程序：数据结构+算法 数据结构之队列：https://www.cnblogs.com/hskq/articles/16120219.html 数据结构之链表：https://www.cnblogs.com/hskq/articles/16143680.htm 阅读全文

摘要： 从访问权限的本质来将：其实就是调用者和提供者的关系 以上为Java中的访问权限 例如： package com.atguigu.testjava;public class Test { public static void main(String[] args) { CloneTest c = ne 阅读全文

摘要： 首先可以看下IDEA中，sleep和wait最直观的区别： 可以看出sleep为斜体，wait为普通体，在IDEA中斜体表示为静态方法，而静态方法和对象无关，也就是sleep方法，不可能获取到对象锁，也就无法释放对象锁（但是也存在锁，类锁） 而此处代码所写，也就意味着sleep和t1无关，不可能让t 阅读全文