摘要：
一、进程和线程的概念和区别 1、进程是系统进行资源调度的基本单位 2、线程是系统进行运算调度（处理器分配{CPU、内存}）的基本单位 二、进程间的通信 进程间的通信共有5种： 1、管道 通常指无名管道 它可以看成是一种特殊的文件，对于它的读写也可以使用普通的read、write 等函数。但是它不是普 阅读全文
摘要：
Spark基础 第一节：什么是Spark？Spark的特点和结构 1、什么是Spark？ Spark是一个针对大规模数据处理的快速通用引擎。 类似MapReduce，都进行数据的处理 2、Spark的特点： （1）基于Scala语言、Spark基于内存的计算 （2）快：基于内存 （3）易用：支持Sc 阅读全文
摘要：
基于Hadoop的WordCount源码示例： 一、WordCountMain.java package demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.h 阅读全文
摘要：
MapReduce入门 第一节：回顾：MapReduce的编程模型 第二节：WordCount的流程分析 1、伪分布环境运行WordCount hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /data/input/data.txt 阅读全文
摘要：
HDFS的基本操作 第一节：HDFS的相关命令 -mkdir 在HDFS创建目录 hdfs dfs -mkdir /data -ls 查看当前目录 hdfs dfs -ls / -ls -R 查看目录与子目录 -put 上传一个文件 hdfs dfs -put data.txt /data/inpu 阅读全文
摘要：
搭建Hadoop的环境 准备实验的环境： 1、安装Linux、JDK 2、配置主机名、免密码登录 3、约定：安装目录：/root/training 安装： 1、解压 : tar -zxvf hadoop-2.4.1.tar.gz -C /root/training/ 2、设置环境变量： vi ~/. 阅读全文
摘要：
Hadoop的背景起源三 : BigTable > 大表 > NoSQL数据库：HBase 第一节：关系型数据库(Oracle、MySQL、SQL Server)的特点 1、什么是关系型数据库？基于关系模型（基于二维表）所提出的一种数据库 2、ER（Entity-Relationalship）模型： 阅读全文
摘要：
Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma 阅读全文
摘要：
Hadoop的背景起源一： GFS: Google File System 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的存储？ > 分布式文件 阅读全文
摘要：
第一讲：大数据基础入门 第一节：为什么要学习大数据 1、目的：很好工作 2、对比：Java开发和大数据开发 第二节：什么是大数据？ 举例： 1、商品推荐： 问题：（1）大量的订单如何存储？ （2）大量的订单如何计算？ 2、天气预报： 问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？ 阅读全文