oftenlin

摘要： 一、集群安装1. Kafka下载：wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz解压 tar zxvf kafka_2.9.2-0.8.1.tgzkafka使用scala编写，需要下载scala相关的库2.... 阅读全文

摘要： Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成: 客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供... 阅读全文

摘要： （一）从关系型数据库导入至HDFS1.将下面的参数保持为import.scriptimport--connectjdbc:mysql://192.168.1.14:3306/test--username root--password 1234-m1--null-string''--table use... 阅读全文

摘要： 1.一般操作status 查看状态version 查看HBase版本2.DDL操作create 'member','member_id','address','info' 创建了一个member表，包含member_id、address、info三个列族describe 'member' 显示表的详... 阅读全文

摘要： 包依赖比较麻烦，找了好久，我用的CDH5.0 现将所依赖的包的列表清单如下：public class EmployeeDao { /** * @param args */ public static Configuration configuration; static { con... 阅读全文

摘要： HBase 数据的插入可以使用Java API 来写Java 程序逐条倒入，但是不是很方便。利用Hive自带的一个Jar包，可以建立Hive和HBase的映射关系 利用Hive 的insert可以将批量数 据导入到HBase中，还可以通过 Hql 语句进行查询。具体的配置方法如下：1、把hive-h... 阅读全文

摘要： 1.Hive row_number() 函数的高级用法 row_num 按照某个字段分区显示第几条数据select imei,ts,fuel_instant,gps_longitude,gps_latitude,row_number() over (PARTITION BY imei ORDER B... 阅读全文

摘要： Create EXTERNAL table obd_data_2( imei string, ts timestamp, fuel_instant float, gps_speed float, gps_status string, gps_longitude float, ... 阅读全文

摘要： 在服务器上把硬盘接好，启动linux，以root登陆。 比如我新加一块SCSI硬盘，需要将其分成三个区：#fdisk/dev/sdb进入fdisk模式：Command(mforhelp):p//查看新硬盘的分区Command(mforhelp):n//创建新分区可以用m命令来看fdisk命令的内部命... 阅读全文

摘要： 一个完全的健身方案应当包含吃（饮食），练（训练），睡（睡眠）三个方面，而练则由心肺，力量，柔韧三个主要部分组成。有鉴于此，本人给出的训练计划是：开始时用5-10分钟有氧热身，最后用5-10分钟拉伸放松，中间是40-50分钟的力量训练。力量训练主要有：1）背部：引体向上（颈前下拉）；2）胸部：平板卧推... 阅读全文