匠人先生

2019年2月26日

摘要： HiBench 7官方：https://github.com/intel-hadoop/HiBench 一简介 HiBench is a big data benchmark suite that helps evaluate different big data frameworks in te 阅读全文

posted @ 2019-02-26 11:45 匠人先生阅读(1944) 评论(0) 推荐(1)

大叔经验分享（34）hive中文注释乱码

摘要：在hive中查看表结构时中文注释乱码，分为两种情况，一种是desc $table，一种是show create table $table 1 数据库字符集检查 mysql> show variables like '%char%';mysql> show create table COLUMNS_ 阅读全文

posted @ 2019-02-26 10:48 匠人先生阅读(800) 评论(0) 推荐(1)

大数据基础之Hive（4）hive元数据库核心表结构

posted @ 2019-02-26 10:30 匠人先生阅读(819) 评论(0) 推荐(1)

2019年2月25日

大数据基础之Spark（9）spark部署方式yarn/mesos

摘要： 1 下载解压 https://spark.apache.org/downloads.html $ wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz $ tar xvf spark 阅读全文

posted @ 2019-02-25 18:37 匠人先生阅读(1037) 评论(0) 推荐(1)

大叔经验分享（33）hive select count为0

摘要： hive建表后直接将数据文件拷贝到table目录下，select * 可以查到数据，但是select count(1) 一直返回0，这个是因为hive中有个配置 hive.stats.autogather=true Enables automated gathering of table-level 阅读全文

posted @ 2019-02-25 15:51 匠人先生阅读(3566) 评论(1) 推荐(1)

大数据基础之Hive（3）最简绿色部署

摘要： hadoop部署参考：https://www.cnblogs.com/barneywill/p/10428098.html 1 拷贝到所有服务器上并解压 # ansible all-servers -m copy -a 'src=/src/path/to/apache-hive-2.3.4-bin. 阅读全文

posted @ 2019-02-25 11:26 匠人先生阅读(274) 评论(0) 推荐(1)

大数据基础之Hadoop（2）hdfs和yarn最简绿色部署

摘要：环境：3结点集群 192.168.0.1192.168.0.2192.168.0.3 1 配置root用户服务期间免密登录参考：https://www.cnblogs.com/barneywill/p/10271679.html 2 安装ansible 参考：https://www.cnblogs 阅读全文

posted @ 2019-02-25 11:14 匠人先生阅读(330) 评论(0) 推荐(1)

2019年2月23日

大叔经验分享（32）docker挂载文件修改生效

摘要： docker经常需要挂载文件到容器中，比如启动nginx # docker run -d --name test_nginx -v /tmp/nginx.conf:/etc/nginx/nginx.conf nginx 然后就有修改配置文件然后刷新的功能，如果直接用vi编辑宿主机文件 # vi /t 阅读全文

posted @ 2019-02-23 22:19 匠人先生阅读(3107) 评论(0) 推荐(0)

2019年2月22日

大数据基础之集群搭建

摘要： Cluster OS&Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check user & password & network reachability, make sure everythin 阅读全文

posted @ 2019-02-22 23:33 匠人先生阅读(315) 评论(0) 推荐(0)

Linux基础之Shell脚本常用命令

摘要： #!/bin/sh 1 取脚本参数 $# 参数个数$0 当前脚本名$1 第1个参数$n 第n个参数$* 所有参数$@ 所有参数$? 上个命令的状态$$ 当前pid 取当前目录 $(cd `dirname $0`; pwd) 2 日期 $ dateWed Mar 27 17:27:18 CST 201 阅读全文

posted @ 2019-02-22 11:13 匠人先生阅读(482) 评论(0) 推荐(0)

Thinking in BigData

公告