一意咕行

摘要： 第三次作业 https://www.cnblogs.com/blw-/p/15334794.html 阅读全文

摘要： 一.安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 下载合适版本的mysql jar包，拷贝到/usr/local/hive/lib目录下 ls 在mysql新建hive数据库 show databases; 配置mysql 阅读全文

摘要： 1.编写map函数，reduce函数 首先在/home/hadoop路径下建立wc文件夹，在wc文件夹下创建文件mapper.py和reducer.py cd /home/hadoopmkdir wccd /home/hadoop/wctouch mapper.py1touch reducer.py 阅读全文

摘要： 1.理解HBase表模型及四维坐标：行键、列族、列限定符和时间戳。 表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族。行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的 阅读全文

摘要： 1.下载压缩文件 2.解压 3.修改文件夹名 4.修改文件夹权限 5.配置环境变量 6.伪分布式配置文件 7.启动HDFS，启动Hbase 8.进入shell界面 9.停止Hbase，停止HDFS运行 阅读全文

摘要： 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api，向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 阅读全文

摘要： 一、设计思想1.分块存储：举个例子，如有有100T文件，存在3个节点，怎么存？100T存在一个节点上吗？直接存储在一台机器上 合理吗？不合理！负载不均衡。我们可以将100T分成多个部分进行存储，分块存储。 每个部分（块）应该分很多合适？1T，如果文件只有2T，分成2个块，还是负载不均衡！如果块太大不 阅读全文

摘要： cd命令：切换目录 （1）切换到目录 /usr/local （2）去到目前的上层目录 （3）回到自己的主文件夹 ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 mkdir命令：新建新目录 （5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在 （6）创建目录a1/a2/a3 阅读全文

摘要： hadoop配置前三步 阅读全文

摘要： 1.为什么产生大数据技术？ 首先我们得知道大数据是什么：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数 阅读全文