匠人先生

2019年3月5日

摘要： tpc 官方：http://www.tpc.org/ 一简介 The TPC is a non-profit corporation founded to define transaction processing and database benchmarks and to disseminat 阅读全文

posted @ 2019-03-05 22:55 匠人先生阅读(6632) 评论(1) 推荐(1)

Linux基础之opensuse leap 15

摘要：装机装机之后执行 sudo zypper ar -fc https://mirrors.aliyun.com/opensuse/distribution/leap/15.0/repo/oss openSUSE-Aliyun-OSSsudo zypper ar -fc https://mirrors 阅读全文

posted @ 2019-03-05 22:50 匠人先生阅读(1283) 评论(0) 推荐(0)

Linux基础之windows linux双系统

摘要： 1 下载iso opensuse 下载： http://download.opensuse.org/distribution/openSUSE-stable/iso/openSUSE-Leap-15.0-DVD-x86_64.iso 以c盘为例，将iso拷贝到c盘根目录，同时将iso中的两个文件放到阅读全文

posted @ 2019-03-05 21:01 匠人先生阅读(790) 评论(0) 推荐(0)

大数据基础之Hive（5）hive on spark

摘要： hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set hive.execution.engine=spar 阅读全文

posted @ 2019-03-05 18:42 匠人先生阅读(4203) 评论(0) 推荐(0)

2019年3月2日

Linux基础之chkconfig systemd

摘要： CentOS6服务用chkconfig控制，CentOS7改为systemd控制 1 systemd systemd is a suite of basic building blocks for a Linux system. It provides a system and service ma 阅读全文

posted @ 2019-03-02 17:30 匠人先生阅读(589) 评论(0) 推荐(0)

大数据基础之Kerberos（2）hive impala hdfs访问

摘要： 1 hive # kadmin.local -q 'ktadd -k /tmp/hive3.keytab -norandkey hive/server03@TEST.COM'# kinit -kt /tmp/hive3.keytab hive/server03@TEST.COM# klist # b 阅读全文

posted @ 2019-03-02 15:02 匠人先生阅读(644) 评论(0) 推荐(0)

2019年3月1日

运维基础之Docker（5）docker部署airflow

摘要：部署方式：docker+airflow+mysql+LocalExecutor 使用airflow的docker镜像 https://hub.docker.com/r/puckel/docker-airflow 使用默认的sqlite+SequentialExecutor启动： $ docker r 阅读全文

posted @ 2019-03-01 10:59 匠人先生阅读(3723) 评论(0) 推荐(0)

2019年2月27日

大叔经验分享（37）CM清理磁盘空间

摘要：定期清理cloudera manager server的磁盘空间 1 停止Service Monitor和Host Monitor 2 删除日志 # /bin/rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rf# /bin/rm /var/ 阅读全文

posted @ 2019-02-27 09:45 匠人先生阅读(1900) 评论(0) 推荐(1)

2019年2月26日

大叔经验分享（36）CM部署kafka

摘要： 1 下载kafka parcel http://archive.cloudera.com/kafka/parcels/latest/KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcelKAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 # mv KAF 阅读全文

posted @ 2019-02-26 22:12 匠人先生阅读(922) 评论(0) 推荐(1)

大叔经验分享（35）lzo格式支持

摘要：建表语句 CREATE EXTERNAL TABLE `my_lzo_table`(`something` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS INPUTFORMAT 'com.hadoop.mapred.D 阅读全文

posted @ 2019-02-26 18:24 匠人先生阅读(2144) 评论(0) 推荐(1)

Thinking in BigData

公告