匠人先生

2019年3月13日

摘要：应用一：mysql数据增量同步到kafka 1 准备mysql测试表 mysql> create table test_sync(id int not null auto_increment, name varchar(32), description varchar(64), create_tim 阅读全文

posted @ 2019-03-13 22:41 匠人先生阅读(744) 评论(0) 推荐(1)

大叔经验分享（39）spark cache unpersist级联操作

摘要：问题：spark中如果有两个DataFrame（或者DataSet），DataFrameA依赖DataFrameB，并且两个DataFrame都进行了cache，将DataFrameB unpersist之后，DataFrameA的cache也会失效，官方解释如下： When invalidatin 阅读全文

posted @ 2019-03-13 17:52 匠人先生阅读(1622) 评论(0) 推荐(0)

Linux基础之文件编码

摘要：查看 1 vi $ vi $file:set fileencoding 2 file $ file $file 修改 1 vi $ vi $file:set fileencoding=utf-8 2 iconv # iconv -l # iconv -f gbk -t utf8 /path/to/f 阅读全文

posted @ 2019-03-13 16:12 匠人先生阅读(173) 评论(0) 推荐(0)

2019年3月12日

大数据基础之Hive（5）性能调优Performance Tuning

摘要： 1 compress & mr hive默认的execution engine是mr hive> set hive.execution.engine;hive.execution.engine=mr 所以针对mr的优化就是hive的优化，比如压缩和临时目录 mapred-site.xml <prop 阅读全文

posted @ 2019-03-12 20:38 匠人先生阅读(3734) 评论(0) 推荐(0)

2019年3月11日

大数据基础之Benchmark（4）TPC-DS测试结果（hive/hive on spark/spark sql/impala/presto）

摘要： 1 测试集群内存：256GCPU：32Core （Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz）Disk（系统盘）：300GDisk（数据盘）：1.5T*1 2 测试数据 tpcds parquet 10g tpcds orc 10g 3 测试对象 hive- 阅读全文

posted @ 2019-03-11 16:32 匠人先生阅读(4588) 评论(4) 推荐(0)

运维基础之Docker（6）性能

摘要： The general result is that Docker is nearly identical to Native performance and faster than KVM in every category. 1 CPU 2 Memory 3 Network Docker’s u 阅读全文

posted @ 2019-03-11 15:30 匠人先生阅读(1096) 评论(0) 推荐(0)

测试基础之http_load（1）简介、安装、使用

摘要： http_load-09Mar2016官方：https://acme.com/software/http_load/ 一简介 http_load - multiprocessing http test client http_load runs multiple http fetches in p 阅读全文

posted @ 2019-03-11 10:49 匠人先生阅读(404) 评论(0) 推荐(0)

2019年3月8日

运维基础之OpenResty(Nginx+Lua)+Kafka

摘要：使用docker部署 1 下载 # wget https://github.com/doujiang24/lua-resty-kafka/archive/v0.06.tar.gz# tar xvf v0.06.tar.gz 2 准备配置文件testkafka.conf # vi testkafka. 阅读全文

posted @ 2019-03-08 22:29 匠人先生阅读(2108) 评论(0) 推荐(0)

2019年3月7日

大叔经验分享（38）beeline连接hiveserver2报错impersonate

摘要： beeline连接hiveserver2报错 Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: Failed to open new session: java.lang.Runti 阅读全文

posted @ 2019-03-07 18:20 匠人先生阅读(664) 评论(0) 推荐(0)

运维基础之OpenResty

摘要： openresty 1.15.8.1 官方：https://openresty.org/en/ 一简介 OpenResty® is a dynamic web platform based on NGINX and LuaJIT. openresty是一个基于nginx和luajit的动态web平阅读全文

posted @ 2019-03-07 15:33 匠人先生阅读(910) 评论(0) 推荐(0)

Thinking in BigData

公告