02 2018 档案

hive权威指南<一>
摘要：一、ETL介绍： 数据抽取：把不同的数据源数据抓取过来，存到某个地方 数据清洗：过滤那些不符合要求的数据或者修正数据之后再进行抽取 不完整的数据：比如数据里一些应该有的信息缺失，需要补全后再写入数据仓库 错误的数据：比如字符串数据后面有一个回车操作、日期格式不正确、日期越界等，需要修正之后再抽取 重 阅读全文
posted @ 2018-02-10 22:49 小宁哥 阅读(2479) 评论(2) 推荐(0)
vsftpd配置文件详解
摘要：vsftpd配置文件详解 1.默认配置： 1>允许匿名用户和本地用户登陆。 anonymous_enable=YES local_enable=YES 2>匿名用户使用的登陆名为ftp或anonymous，口令为空；匿名用户不能离开匿名用户家目录/var/ftp,且只能下载不能上传。 3>本地用户的 阅读全文
posted @ 2018-02-10 21:16 小宁哥 阅读(191) 评论(0) 推荐(0)
vsftpd安装和使用 Linux系统和window系统
摘要：vsftpd 安装（Linux）一、安装系统环境 centos 6.9 64位二、vsftpd版本 vsftpd-2.2.2-24.el6.x86_64三、安装步骤1.安装 执行 yum -y install vsftpd eg: (1)是否使用sudo权限执行请根据您具体环境来决定 (2)rpm 阅读全文
posted @ 2018-02-10 20:22 小宁哥 阅读(790) 评论(0) 推荐(0)
git安装和使用 linux系统和window系统
摘要：一、git简介 git是一款免费、开放源代码的分布式版本控制系统特点： git是一个开源的分布式版本控制系统，可以有效， 高速的处理从很小到非常大的项目版本管理 二、git安装 Linux：下载、安装1.安装系统环境 centos 6.9 64位2.git版本 2.8.03.安装步骤 （1）从Git 阅读全文
posted @ 2018-02-10 20:13 小宁哥 阅读(630) 评论(0) 推荐(0)
cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南
摘要：hue下载地址：https://github.com/cloudera/hue hue学习文档地址：http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue（ 阅读全文
posted @ 2018-02-10 19:32 小宁哥 阅读(1832) 评论(1) 推荐(0)
cdh版本的sqoop安装以及配置
摘要：sqoop安装需要提前安装好sqoop依赖：hadoop 、hive、hbase、zookeeper hadoop安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.html hive安装步骤请访问：http://www.cnblogs.c 阅读全文
posted @ 2018-02-08 23:48 小宁哥 阅读(5902) 评论(0) 推荐(0)
cdh版本的hive安装以及配置
摘要：hive依赖hadoop 需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz 1、hadoop的安装步骤请访问： http://www.cnblogs.com/xningge/articles/8433297.html 2 阅读全文
posted @ 2018-02-08 23:29 小宁哥 阅读(9729) 评论(0) 推荐(0)
cdh版本的zookeeper安装以及配置（伪分布式模式）
摘要：需要的软件包：zookeeper-3.4.5-cdh5.3.6.tar.gz 1、将软件包上传到Linux系统指定目录下： /opt/softwares/cdh 2、解压到指定的目录：/opt/modules/cdh/ $ tar -zxvf /opt/softwares/zookeeper-3.4 阅读全文
posted @ 2018-02-08 23:10 小宁哥 阅读(4600) 评论(0) 推荐(0)
Failed with exception MetaException(message:javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes.
摘要：hive (db_emp)> load data local inpath '/opt/datas/emp.txt' into table emp_part partition(`date`='2018120'); 在加载数据到HDFS上时，报错： Failed with exception Met 阅读全文
posted @ 2018-02-08 22:44 小宁哥 阅读(1998) 评论(1) 推荐(0)
Linux系统常用命令权威指南
摘要：《一》线上查询及帮助命令（2）1.man man [选项] [命令] 查看命令帮助，命令的词典，更复杂的还有info，但不常用。 #man cd-a 显示所有的手册页，不只是显示第一个-f 只显示命令的功能，而不显示详细的说明文件，跟whatis命令相同-w 不显示手册内容，只显示将被格式化和显示的 阅读全文
posted @ 2018-02-08 22:36 小宁哥 阅读(448) 评论(0) 推荐(1)
cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置
摘要：安装hadoop需要jdk依赖，我这里是用jdk8 jdk版本：jdk1.8.0_151 hadoop版本：hadoop-2.5.0-cdh5.3.6 hadoop下载地址：链接：https://pan.baidu.com/s/1qZNeVFm 密码：ciln jdk下载地址：链接：https:// 阅读全文
posted @ 2018-02-08 22:31 小宁哥 阅读(4151) 评论(0) 推荐(0)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) :
摘要：在hive命令行创建表时报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreExcept 阅读全文
posted @ 2018-02-08 19:17 小宁哥 阅读(479) 评论(0) 推荐(0)