随笔分类 -  Hadoop 学习

1 2 下一页
hive HQL数据库操作笔记02
摘要：建表create table gulivideo_ori( videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, r... 阅读全文
posted @ 2019-09-16 17:16 丨Kouch 阅读(340) 评论(0) 推荐(0)
hive HQL数据库操作笔记01
摘要：分区(partition by) 目的：加快数据查询： 实现：依据某几个数据属性，设置分区； eg：依据时间和国家，9.1&CN；9.1&US；9.2 ...； 形式：层级目录； 实践： 分桶 (clustered by) 目的：更细粒度的划分数据，加快数据查询； 实现：根据某一列属性（表本身属性） 阅读全文
posted @ 2019-09-06 08:49 丨Kouch 阅读(210) 评论(0) 推荐(0)
hadoop 又一次环境搭建
摘要：【配置hadoop环境】1 安装linux； 环境： 虚拟机：VB ； 镜像：IOS ；2 安装hadoop； 执行： 1 安装SSH、配置SSH无密码登陆 * 用于管理集群；集群建传输数据； * 在shell下使用ssh远程登录一台Linux主机； 2 (Java环境) - 安装JDK； * wi 阅读全文
posted @ 2019-09-05 09:13 丨Kouch 阅读(174) 评论(0) 推荐(0)
Hive 学习
摘要：【hive配置】 hive mysql 【hive操作实践】HQL： 数据定义； 创建修改和删除 - 数据库、表（内部表，外部表，分区表）、视图、函数和索引 ；参：http://dblab.xmu.edu.cn/blog/1080-2/ 用户自定义函数 数据操作； 数据导入（导入hive） 数据导出 阅读全文
posted @ 2019-09-05 09:04 丨Kouch 阅读(161) 评论(0) 推荐(0)
hadoop -工具合集
摘要：My Github 暂无 林子雨 https://pan.baidu.com/share/init?surl=ZuY142dtMERuh4vfliAgJg 提取码：gx0b教程： http://dblab.xmu.edu.cn/blog/install-hadoop/ 阅读全文
posted @ 2019-09-04 11:21 丨Kouch 阅读(280) 评论(0) 推荐(0)
MapReduce - 图解合集
摘要： 阅读全文
posted @ 2019-09-04 10:59 丨Kouch 阅读(181) 评论(0) 推荐(0)
hadoop - 总结
摘要：更新......... 阅读全文
posted @ 2019-09-04 10:37 丨Kouch 阅读(89) 评论(0) 推荐(0)
hadoop编程实践 - hdfs编程实现删除文件
摘要：package test.hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /* * * ... 阅读全文
posted @ 2019-09-03 21:29 丨Kouch 阅读(514) 评论(0) 推荐(0)
hadoop编程实践 - hdfs编程实现判断文件存在性
摘要：package test.hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /* * @a... 阅读全文
posted @ 2019-09-03 21:28 丨Kouch 阅读(586) 评论(0) 推荐(0)
hadoop编程实践 - “清洗”（根据具体需求）
摘要：项目文件：Github 需求一： 需求二： 阅读全文
posted @ 2019-09-03 21:27 丨Kouch 阅读(188) 评论(0) 推荐(0)
hadoop编程实践 - 词频统计
摘要：项目文件：Github Mapreduce流程：package test.wordcount; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apach... 阅读全文
posted @ 2019-09-03 18:34 丨Kouch 阅读(758) 评论(0) 推荐(0)
Hadoop编程实践 - 数据去重
摘要：参：https://www.cnblogs.com/annsshadow/p/5006317.html 阅读全文
posted @ 2019-09-03 17:06 丨Kouch 阅读(557) 评论(0) 推荐(0)
Ubuntu - 安装hadoop（简约版）
摘要：相关版本： VMware ubuntuKylin16.04 JDK ：openjdk Hadoop-2.9.1 步骤： 1、SSH 配置 [ 远程登陆 ] [ 配置SSH免码登陆 ] *测试：ssh localhost 2、JDK 配置 *测试：java -version / echo $JAVA_ 阅读全文
posted @ 2019-03-10 09:55 丨Kouch 阅读(106) 评论(0) 推荐(0)
ubuntu - 安装zookeeper
摘要：单机模式 一、下载 二、解压到指定目录 三、配置系统/用户环境变量，并生效 四、配置 1 创建data&logs文件夹 2 修改配置文件：zoo.cfg(原文件中没有，1可直接创建，2可用zoo_sample.cfg cp一个) 五、测试 启动：zkServer.sh start 停止：zkServ 阅读全文
posted @ 2019-01-02 20:09 丨Kouch 阅读(121) 评论(0) 推荐(0)
ubuntu - 安装sqoop
摘要：解析过程 参考：https://www.cnblogs.com/qingyunzong/p/8807252.html#_label4 一、下载 二、解压到指定目录 三、配置sqoop环境变量并生效 四、修改sqoop-env.sh配置文件 五、将mysql驱动包导入sqoop/lib 六、测试 1 阅读全文
posted @ 2019-01-02 17:14 丨Kouch 阅读(454) 评论(0) 推荐(0)
ubuntu - 安装hive
摘要：粗略步骤： 详细参考：https://www.2cto.com/net/201804/735478.html 环境：ubunut jdk hadoop mysql 一、下载hive 二、解压（到指定目录） 三、配置 /etc/profile [环境变量] - 执行： source /etc/prof 阅读全文
posted @ 2019-01-01 11:18 丨Kouch 阅读(346) 评论(0) 推荐(0)
javaweb访问hdfs的一些错误
摘要：javaweb 与 HDFS 坑 前提：javaweb 项目，hdfs中的数据文件，导入访问hdfs的jar包，eclipse调试 问题：在×××.java代码中正常访问hdfs，浏览jsp时调用×××.java程序，报java.lang.NoClassDefFoundError: org/apac 阅读全文
posted @ 2018-11-28 18:21 丨Kouch 阅读(644) 评论(0) 推荐(0)
HBase - 伪分布式安装过程
摘要：环境 - hadoop - 没有zookeeper（用hbase自带的zookeeper，当然后期我会改用独立的zookeeper） HBase介绍 参考：hbase是什么？ hbase下载 地址：http://mirrors.shu.edu.cn/apache/hbase/stable/ 我选的是 阅读全文
posted @ 2018-10-13 21:37 丨Kouch 阅读(1396) 评论(0) 推荐(0)
HBase - 安装过程中的问题
摘要：问题1：启动时start-hbase.sh 报 权限不够 原因：在移动文件时，使用root用户在/usr/local下创建的hbase，所以hbase文件夹的使用者为root，其他人没权限 解决方案： 修改权限 查看权限 ： ll /usr/local - 找hbase， 修改：sudo chown 阅读全文
posted @ 2018-10-13 20:33 丨Kouch 阅读(3034) 评论(0) 推荐(0)
与HDFS交互- By java API编程
摘要：环境（ubuntu下） jdk eclipse jar（很烦，整了很久才清楚） - 导包方法 查看：https://www.cnblogs.com/floakss/p/9739030.html 操作 文件的创建，读入，写入，删除，上传，下载 目录的创建，删除等 例子 - 文件的创建 结果截图： 参考 阅读全文
posted @ 2018-10-03 01:18 丨Kouch 阅读(327) 评论(0) 推荐(0)

1 2 下一页