随笔分类 - hadoop
摘要：sqoop 1.4.6 小试牛刀 sqoop import 参数 1. mysql导入 到hdfs中 ./sqoop import --connect jdbc:mysql://mysql:3306/part --username root --password 123456 --table big
阅读全文
摘要：启动hbase ,验证出错 Master is initializing 查看zk日志，发现Unable to read additional data from client sessionid 0x15c92bd1fca0003, likely client has closed socket
阅读全文
摘要：一、准备 hadoop 2.8.0 (提前配置好) hbase 1.2.6 zookeeper 3.4.9 （配置完成） jdk1.8 hadoop 集群信息： zk集群： 二、安装配置 1.下载（官网地址） 2.解压到 /opt/hadoop/ 3. 修改 conf/hbase-env.sh ex
阅读全文
摘要：1.pig运行模式 本地模式： pig -x local 直接访问本地磁盘 集群模式： pig 或者 pig -x mapreduce 2.pig latin 交互 帮助信息 help 上传本地文件到hdfs中 查看内容 cat 加载数据 执行成功，如下展示： 计算结果 3. 小试牛刀 1)、加载学
阅读全文
摘要：sqoop版本1.99.7 ，安装省略 1. 启动server sqoop2-server start 2. sqoop2-shell 链接 表示安装成功。 创建link 查看link 创建job 查看job 导入到hdfs 中的数据： 异常： 1. 2. GENERIC_JDBC_CONNECTO
阅读全文
摘要：1.内部表 删除表后，数据也一起删除。 2.外部表 在指定的location中查看hdfs数据 删除表后，数据仍在。
阅读全文
摘要：1. insert 插入数据 要保证启动了jobhistory 否则会抛出异常 hdfs中查看内容 2. create table 表名字 select 字段... from 表名 hdfs查看数据 3. load data 加载， row format 指定数据的分隔符 '|'
阅读全文
摘要：1. 显示当前的数据库信息 直接修改hive.site.xml ，永久显示 2. 建表，模糊显示表信息 drop table 表名称； --删除表 show tables ;--显示所有表 show tables like "*u*"; 模糊匹配表信息 create table ； 语法和mysql
阅读全文
摘要：一、hive安装 1.官网下载 1.2.2版本 http://apache.fayea.com/hive/hive-1.2.2/ 2. 解压，此处目录为 /opt/hadoop/hive-1.2.2 3. 修改 conf/hive-env.sh 4. 重命名 hive-default.xml.tem
阅读全文
摘要：hive 版本 1.2.2 帮助信息 -d 属性 set 和 set -v 变量 hive --define 和 hivevar:变量名字 -e 不启动hive，执行完成后自动退出。 hive -e "" -S or --slient 静默执行 , 加上管道流模糊匹配要设置的属性信息 -f , 从文
阅读全文
摘要：讲准备好的文本文件放到hdfs中 执行 hadoop 安装包中的例子 查看执行结果： 自定义wordcount : 打包上传至hadoop 集群。 运行出错 出错 执行mapreduce出现的错，原因是map类和reduce没有加static修饰，因为hadoop在调用map和reduce类时采用的
阅读全文
摘要：1.put 本地文件上传至hdfs中 2. cat 查看内容 3. 删除文件，文件夹 4. ls 5. copyFromLocal 复制本地文件到HDFS , copyToLocal hdfs 复制到本地 ， moveFromLocal ,moveToLocal 6. appendToFile 将本
阅读全文
摘要：安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable 原因：Apache提供的hadoop本地库是32位的，而在64
阅读全文
摘要：准备： 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile source /etc/profile 使其立即生效 java -version 验证 二. hadoop 下载
阅读全文
摘要：执行 hdfs namenode -format 抛出错误 主机名称异常，查看主机信息 原来 通过 bogon 无法找到主机 ，在host 中也没有对应的映射信息 修改后即可 再次执行 hdfs namenode -format 正常启动。 参考： 深入理解Linux修改hostname
阅读全文
摘要：今天在linux上部署dubbo-admin-2.5.4，一直报错： ERROR context.ContextLoader - Context initialization failedorg.springframework.beans.factory.BeanCreationException:
阅读全文
摘要：执行 bin/hdfs dfs -mkdir /user,创建目录时出现警告信息。 我这里用的是hadoop 2.6.4. 下载hadoop-native-64-2.6.0.tar: http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-nat
阅读全文
摘要：hadoop 启动后,有警告信息: 首先下载hadoop-native-64-2.4.0.tar：http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.4.0.tar如果你是hadoop2.6的可以下载下面这个：http
阅读全文
摘要：Redis集群 （要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下） 127.0.0.1:6379127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.
阅读全文
摘要：下载省略; solr下载地址:http://www.apache.org/dyn/closer.cgi/lucene/solr/ tomcat 下载安装(省略)。 solr5.4.1 默认在jetty下启动。直接进入solr bin目录下,solr start 即可启动solr. 当然tomcat平
阅读全文
浙公网安备 33010602011771号