justinzhang

2015年9月9日

摘要：首先，使用Talend随机生成一千万条数据：数据库表中现在有1千万+的数据： mysql> select count(*) from zhangchao; +----------+ | count(*) | +----------+ | 10040005 | +----------+ 1 row in set (2.50 sec) 不加索引的情况下，查询一条记录的时间为3.02s mysql... 阅读全文

posted @ 2015-09-09 16:36 justinzhang 阅读(637) 评论(0) 推荐(0) 编辑

talend 连接mysql数据库没有权限

摘要：使用talend连接一个mysql数据库，提示没有权限，最后发现mysql服务器的配置中只监听了127.0.0.1的端口，拒绝非本地的请求。通过将/etc/mysql/my.cnf中的bind_address项注释掉，/etc/init.d/mysql restart重启mysql服务器后，talend可以正常的访问该数据库： root@ubuntu:~/extract/extract_mysq... 阅读全文

posted @ 2015-09-09 16:12 justinzhang 阅读(1011) 评论(0) 推荐(0) 编辑

hive元数据研究

摘要： hive的元数据存放在关系型数据库中，元数据中存储了hive中所有表格的信息，包括表格的名字，表格的字段，字段的类型，注释。这些信息分散的存放在各个表中，给定一个hive中的表格名字，查询这个表中含有的所有字段，使用如下的SQL语句： mysql> select COLUMNS_V2.* from COLUMNS_V2,SDS, TBLS where COLUMNS_V2.CD_ID = SDS... 阅读全文

posted @ 2015-09-09 10:06 justinzhang 阅读(1888) 评论(0) 推荐(0) 编辑

2015年9月6日

hive splict, explode, lateral view, concat_ws

摘要： hive> create table arrays (x array) > row format delimited fields terminated by '\001' > collection items terminated by '\002' > ; OK Time taken: 0.574 seconds hive> show tables; OK array... 阅读全文

posted @ 2015-09-06 14:43 justinzhang 阅读(3356) 评论(0) 推荐(0) 编辑

2015年9月3日

mysql中的NULL的判断

摘要： mysql> delete from `zhangchao` where x='NULL'; Query OK, 0 rows affected (0.00 sec) mysql> delete from `zhangchao` where x=NULL; Query OK, 0 rows affected (0.00 sec) mysql> select * from zhangcha... 阅读全文

posted @ 2015-09-03 13:25 justinzhang 阅读(7941) 评论(0) 推荐(0) 编辑

2015年9月2日

databus编译：Could not resolve all dependencies for configuration ':databus2-relay:databus2-event-producer-mock:compile

摘要： FAILURE: Build failed with an exception. * What went wrong: Could not resolve all dependencies for configuration ':databus2-relay:databus2-event-producer-mock:compile'. > Artifact 'com.oracle:ojdbc6... 阅读全文

posted @ 2015-09-02 15:31 justinzhang 阅读(1346) 评论(0) 推荐(0) 编辑

databus编译： Execution failed for task ':databus-core:databus-core-impl:compileJava'.

摘要：在编译databus的过程中，出现了无法找到jdk的错误：在/etc/.bashrc和/etc/profile中都配置了JAVA_HOME，依然报错，重启后还是报错，原因的是ubuntu中默认的jdk位置是:/usr/lib/jvm/defualt-java，先将符号连接删除掉，然后重新定位到/home/zhangchao/jdk1.6.0_45目录下，gradle的错误消失：阅读全文

posted @ 2015-09-02 15:19 justinzhang 阅读(595) 评论(0) 推荐(0) 编辑

Mysql数据迁移

posted @ 2015-09-02 10:01 justinzhang 阅读(271) 评论(0) 推荐(0) 编辑

mysql打开binlog

摘要：修改mysql的配置文件，ubuntu下mysql的配置文件存放位置为：/etc/mysql/my.cnf 找到log_bin配置项，指定一个路径：重启数据库：/etc/init.d/mysql restart 在数据库中进行update， insert和delete操作，会触发binlog：阅读全文

posted @ 2015-09-02 09:45 justinzhang 阅读(1064) 评论(0) 推荐(0) 编辑

2015年9月1日

Talend 显示隐藏控件-thashmap

摘要：默认情况下，thashmap插件是隐藏的，通过如下的方式可以将隐藏的hashmap插件显示出来：阅读全文

posted @ 2015-09-01 16:43 justinzhang 阅读(437) 评论(1) 推荐(1) 编辑

公告