随笔档案「2017年7月」 - Flink菜鸟

Java往hbase写数据

摘要：接上篇读HDFS 上面读完了HDFS，当然还有写了。先上代码： WriteHBase HBaseConfig(z这个必须，不然会卡在table.put 上面，没有报错，就是卡) 注： hbase的配置文件很重要，如果读不到 “hbase.zookeeper.quorum” 会默认到 localho 阅读全文

posted @ 2017-07-29 15:16 Flink菜鸟阅读(3111) 评论(0) 推荐(0)

Java 读取HDFS文件系统

摘要：最近有个需求，计算用户画像。系统大概有800W的用户量，算每个用户的一些数据。数据量比较大，算用hive还是毫无压力的，但是写的oracle，在给出数据给前端，就比较难受了。然后换了种解决方法： 1.hive计算，写的HDFS 2.API读出来，写到hbase（hdfs和hbase的版本不匹配阅读全文

posted @ 2017-07-29 14:59 Flink菜鸟阅读(7395) 评论(0) 推荐(0)

Java 获取系统环境变量

摘要：最近写个从HDFS读数据，写到hbase的API。加载配置文件的时候，遇到点麻烦。目测，最少有三套配置文件： 1.本机的hadoop和hbase 2.家里（公司）服务器的hadoop和hbase 3.现网服务器的hadoop和hbase 在三套环境中，大多配置是一样的，就是IP没办法通用。 ha 阅读全文

posted @ 2017-07-28 10:54 Flink菜鸟阅读(1434) 评论(0) 推荐(0)

com/mysql/jdbc/Driver : Unsupported major.minor version 52.0

摘要：解决方案： 1、jdk7+老版5.0驱动com/mysql/jdbc/Driver 2、jdk8+新版6.0驱动com/mysql/cj/jdbc/Driver 阅读全文

posted @ 2017-07-22 16:20 Flink菜鸟阅读(1873) 评论(0) 推荐(0)

oracle 重建分区索引

摘要：分区表的所有分区相当于一个单独的表。创建在分区表上的索引，就相当于在所有分区上单独创建的索引（主键索引除外）。重建分区表的索引回报： ORA-14086：不能将分区索引作为整体重建。 so，重建语音必须指定分区。当然，主键索引可以直接重建。不过，如果你想简单残暴一点。可以直接把索引删掉，重阅读全文

posted @ 2017-07-21 16:13 Flink菜鸟阅读(10727) 评论(1) 推荐(1)

java.io.IOException: java.sql.SQLException: ORA-01502: index 'BTO.PK_xxxxx' or partition of such index is in unusable state

摘要：最近由于数据库的全备出问题了，所以一直在观察。刚好发现很多不需要的数据，就删了几百个G的数据吧。今天突然就报这个问题。索引处于不可用状态。重建索引 OK 阅读全文

posted @ 2017-07-21 14:59 Flink菜鸟阅读(800) 评论(0) 推荐(0)

oracle count 大表

摘要：刚从生产环境导了一个大表到测试环境，迫不及待的要好好玩弄一下。 1.coun（1）条数： 567979280 时间：4:47 2.count 索引字段条数： 567979280 时间：1:33 3.count 复合索引第一个字段条数： 567979280 时间：1:39 4.count 复合索阅读全文

posted @ 2017-07-18 12:03 Flink菜鸟阅读(787) 评论(0) 推荐(0)

shell for if

摘要：#!/bin/bash for i in {26..31} do if [ ${i} -lt 10 ];then j=2017040"${i}" else j=201704"${i}" fi echo $j >> venn.log echo 'date -d' >> venn.lo... 阅读全文

posted @ 2017-07-07 19:32 Flink菜鸟阅读(245) 评论(0) 推荐(0)