08 2017 档案

4.Hive安装
摘要：1.系统版本信息 主机信息 2.只需在master上安装hive wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gz, 镜像地址：https://mirrors.t 阅读全文
posted @ 2017-08-29 21:17 桃源仙居 阅读(100) 评论(0) 推荐(0)
24.安装pig
摘要：1.系统版本信息 主机信息 2.只在主机master上安装Pig A：下载pig-0.16.0.tar.gz，wget https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/pig-0.16.0.tar.gz 镜像地址：https:// 阅读全文
posted @ 2017-08-29 19:01 桃源仙居 阅读(91) 评论(0) 推荐(0)
1.Hadoop安装
摘要：0.系统版本信息 在每台机器上配置好，第一次配置完成后需要reboot，检测是否配置好使用ping master,ping slave1即可 设置sudo为不需要密码 debian默认是不安装selinux 1.master可以ssh免密码登录各台slave机器 如果ssh免密码登录有问题，需要将每 阅读全文
posted @ 2017-08-29 17:49 桃源仙居 阅读(185) 评论(0) 推荐(0)
3.Hbase安装
摘要：1.系统版本信息 2.前提条件 A:安装好jdk并配置好环境变量 B:安装好Hadoop并能够跑通example下的wordcout C:安装好zookeeper，并能够跑通 3.首先在master上安装hbase 使用wget下载镜像站下的某个版本，如wget http://mirror.bit. 阅读全文
posted @ 2017-08-29 16:18 桃源仙居 阅读(236) 评论(0) 推荐(0)
2.Zookeeper安装
摘要：0.系统版本信息 OS：Debian8.2 Zookeeper：3.4.10 JDK：1.8.0_181 主机信息 192.168.74.131 master 192.168.74.133 slave1 192.168.74.134 slave2 192.168.74.135 slave3 1.在每 阅读全文
posted @ 2017-08-29 15:38 桃源仙居 阅读(139) 评论(0) 推荐(0)
2.python抓取html中表格中的内容
摘要：要获取网页中的table内容，并返回json字符串 http://bbs.ngacn.cc/read.php?tid=12241285 直接上代码 为了能够将数据给其他应用来使用，作出API接口 在Linux下启动后台服务 将文件PythonDemo.py和TabelScratch.py放到/hom 阅读全文
posted @ 2017-08-25 15:56 桃源仙居 阅读(5822) 评论(0) 推荐(0)
20.Linux根分区扩容
摘要：参考：http://blog.csdn.net/dingchenxixi/article/details/50986472 0.问题：根分区快用完 1.关闭VM，编辑虚拟机-->硬件选项卡 >硬盘（SCSI）-->扩展 >在现有基础上增加20G，从60G改为80G 2.打开虚拟机，root用户登录， 阅读全文
posted @ 2017-08-24 18:42 桃源仙居 阅读(799) 评论(0) 推荐(0)
19.cloudera
摘要：0.注意，如果ssh面密码登录有问题，需要将每个.ssh/下的所有文件删除重新发送认证文件 1.准备三台虚拟机 2.配置好hosts文件和hostname 修改host文件后reboot一下，然后互相ping，检测是否配置好 3.添加hadoop用户，并给予sudo使用权限，需要以root用户身份分 阅读全文
posted @ 2017-08-24 14:45 桃源仙居 阅读(117) 评论(0) 推荐(0)
hive sql
摘要：Hive分组排序 它们都是根据col1字段分组，然后对col2字段进行排序，对排序后的每行生成一个行号，这个行号从1开始递增col1、col2都可以是多个字段，用‘,‘分隔 它们都是根据col1字段分组，然后对col2字段进行排序，对排序后的每行生成一个行号，这个行号从1开始递增col1、col2都 阅读全文
posted @ 2017-08-21 21:13 桃源仙居 阅读(399) 评论(0) 推荐(0)
线程池
摘要：ThreadPoolExecutor 阅读全文
posted @ 2017-08-17 16:41 桃源仙居 阅读(73) 评论(0) 推荐(0)
File工具类
摘要：1.遍历文件夹 2.读取txt文本文件 阅读全文
posted @ 2017-08-17 16:29 桃源仙居 阅读(94) 评论(0) 推荐(0)
05.kafka单机、集群模式
摘要：单机模式 集群模式 阅读全文
posted @ 2017-08-04 21:22 桃源仙居 阅读(150) 评论(0) 推荐(0)
01.Flume综合
摘要：一、Flume组件 二、Flume架构 基本架构 基本架构 多个Agent顺序连接 多个Agent顺序连接 多个Agent的数据汇聚到同一个Agent 多个Agent的数据汇聚到同一个Agent 多路Agent 多路Agent 实现Load Balance 实现Load Balance 实现fail 阅读全文
posted @ 2017-08-04 21:15 桃源仙居 阅读(140) 评论(0) 推荐(0)
01.spark资料
摘要：http://blog.csdn.net/yirenboy/article/details/47291765 https://databricks.gitbooks.io/databricks-spark-knowledge-base/content/best_practices/prefer_re 阅读全文
posted @ 2017-08-04 20:06 桃源仙居 阅读(144) 评论(0) 推荐(0)
lzo.GPLNativeCodeLoader: Could not load native gpl library
摘要：cp /usr/lib/hadoop/lib/native/libgplcompression.so $JAVA_HOME/jre/lib/amd64/cp /usr/lib/hadoop/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64/cp /us 阅读全文
posted @ 2017-08-04 16:33 桃源仙居 阅读(716) 评论(0) 推荐(0)
00
摘要：https://github.com/jaydenxiao2016/AndroidFire 阅读全文
posted @ 2017-08-04 10:19 桃源仙居 阅读(61) 评论(0) 推荐(0)
18.hive-spark-hadoop
摘要：一、Hadoop安装 1.Hadoop集群安装，查看：http://www.cnblogs.com/makexu/articles/7107422.html 二、Spark安装 安装包选择https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-ha 阅读全文
posted @ 2017-08-02 19:54 桃源仙居 阅读(113) 评论(0) 推荐(0)