疯狂的小萝卜头

摘要： package com.gm.hive.SparkHive;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.util.List;impor... 阅读全文

摘要： package com.gm.hive.SparkHive;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SaveMode... 阅读全文

摘要： 文章转载自：http://www.zihou.me/html/2014/01/28/9114.html1. 概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档... 阅读全文

摘要： 之前搭建了一个CentOS(7.0, x64)的VM，一直没留意它的硬盘空间。昨天，系统突然弹出警示，说 根目录 空间不足了。 这样的话，就只能给它增加空间呗。我自己其实已经增加过硬盘空间了，但是为了写这篇博客，我再一次添加了10GB的硬盘在虚拟机关机的前提下，先通过... 阅读全文

摘要： 前言已完成安装Apache Hive，具体安装步骤请参照，Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作补充说明Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方... 阅读全文

摘要： apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sq... 阅读全文

摘要： 下载Sqoop官网地址http://sqoop.apache.org/wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装及配置解压tar -... 阅读全文

摘要： package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.... 阅读全文

摘要： 前言安装Apache Hive前提是要先安装hadoop集群，并且hive只需要在hadoop的namenode节点集群里安装即可，安装前需保证Hadoop已启（动文中用到了hadoop的hdfs命令）。关于如何安装Hadoop集群请参照：CentOS7搭建Hadoo... 阅读全文

摘要： 环境说明示例环境主机名IP角色系统版本数据目录Hadoop版本master192.168.174.200nameNodeCentOS Linux release 7.4.1708 (Core) 2.8.0slave1192.168.129.201dataNodeCen... 阅读全文