Protect_Winter's Sketchbook

摘要： 1.创建表并指定字段间的分隔符 create table if not exists stu2(id int,name string) row format delimited fields terminated by '\t'; 2.创建表并指定表的存放路径 create table if not 阅读全文

摘要： 1.创建数据库 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的，在这个文件中还规定了文件的访问权限 创建指定路径的数据库 设置数据库键值对信息 2.删除数据库 这个命令只能删除空数据库，强制删除数据库连带下面的表一起删除可以在后面加一个参数：cascade 3.创建 阅读全文

摘要： 1.基本概念 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库是存数据的，企业的各种数据都往里面存，主要目的是分析有效数据，后续会基于它产出供分析挖掘的数据。 2.数据仓库的分层架构 恢复内容开始 1.基本概念 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支 阅读全文

摘要： 学习时长 7个小时 代码量 600行 博客量 4篇 学习内容 Hadoop镜像安装，Shell脚本基础，HDFS基础，MapReduce基础 阅读全文

摘要： 1.概述： MapReduce的和心思想：将复杂的任务分解成小任务并行计算，再对所有小任务的结果进行汇总。 2.MapReduce编程规范 一共有8个步骤 Map阶段：切分数据，进行并行计算 设置InputFormat类，将数据切分成键值对<k1,v1>输入到第二步。键值对代表的含义：k1代表各行文 阅读全文

摘要： 1.高可用机制： 在搭建Hadoop集群时可以配置很多个NameNode，这样使得在一个NameNode出现问题时其他NameNode可以迅速代替。 当一个NameNode处于Activity状态时，其他处于Standby状态，在此期间，所有NameNode的元数据保持一致。 2.NameNode的 阅读全文

摘要： 1.概述： 有些时候文件过大，需要将文件切分成不同的小部分放在不同的主机上。HDFS的作用就是整合这些小的切片，当客户端需要访问时，将所有内容整合起来返回给客户端。 2.架构 HDFS主要有4部分，HDFS Client，NameNode，Secondary NameNode，DataNode HD 阅读全文

摘要： 学习大数据需要用到一些shell脚本，所以今天学习了一些关于shell脚本的基础知识 1.创建shell脚本并进行编辑 #！/bin/bash 是固定写法 意思时使用bash下面的bash解释器 echo相当于一个输出 保存退出的方法是输入：wq 运行的方法是：sh +运行脚本的名字 chmod + 阅读全文

摘要： 文件获取地址：http://dblab.xmu.edu.cn/blog/1645-2/ 安装教程： 1.下载Oracle VirtualBox 2.下载镜像文件 3.导入虚拟电脑 选择下载好的镜像文件，单击回车键 修改默认虚拟电脑位置，单击回车 导入成功后，点击管理-》网络操作管理器，将连接方式改为 阅读全文

摘要： 1.numpy：NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix))。 2.基础操作： import numpy as np #创建 阅读全文