2020年1月7日
摘要: 背景 昨天订阅了极客时间的“人人都能学会的编程入门课”,准备回炉重造下,刚好更新到:“教你输出彩色的文字”,才知道以前的C语言白学了,连\003都不知道,汗颜……在这里记录下 \003介绍 简介 控制终端内文字显示样式的转义字符'\033',这是一个八进制表示的转义字符,也可以写作十六进制的'\x1 阅读全文
posted @ 2020-01-07 16:03 某人的喵星人 阅读(479) 评论(0) 推荐(0) 编辑
摘要: 0.需求背景 应项目国产化适配需要,后续需要将数据迁移至DM7数据库中,调研kettle连接DM7 1.kettle连接DM7的相关操作 1.1 DM7驱动安装 kettle连接DM7,本质上是通过JDBC连接,因而需要将DM7的JDBC驱动放到${kettle_home}\lib\目录中。DM7的 阅读全文
posted @ 2020-01-07 14:21 某人的喵星人 阅读(2164) 评论(0) 推荐(0) 编辑
  2020年1月6日
摘要: 背景 由于公司CDH集群资源有限,在使用Hbase对数据厂商上报数据文件进行解析写入hbase过程中,一旦遇到数据上报峰值(如历史数据批量上报,异常数据批量重传),都会导致Hbase可用机器资源不足,导致Hbase服务异常终止。尝试调试解析数据文件的并发线程数及Hbase服务的可分配内存资源均不能有 阅读全文
posted @ 2020-01-06 14:16 某人的喵星人 阅读(1669) 评论(0) 推荐(2) 编辑
摘要: 问题描述 现有几千条数据,需要插入到对应的Hive/Impala表中。安排给了一个同事做,但是等了好久,反馈还没有插入完成……看到他的做法是:对每条数据进行处理转换为对应的insert语句,但是,实际执行起来,速度很慢,每条数据都要耗时1s左右。比在MySQL中批量插入数据慢多了,因而抱怨Impal 阅读全文
posted @ 2020-01-06 09:07 某人的喵星人 阅读(5454) 评论(0) 推荐(0) 编辑
  2020年1月3日
摘要: 0.概述 Hive对外提供了StorageHandler接口,提供了访问各种存储组件中的数据的能力。Hbase提供了HbaseStorageHandler,使得hive可以通过建立外部映射表访问hbase中的数据。但是,公司CDH集群的版本比较低,不支持新版hive原生的JdbcStorageHan 阅读全文
posted @ 2020-01-03 13:59 某人的喵星人 阅读(1417) 评论(0) 推荐(0) 编辑
  2016年11月4日
摘要: Java操作Mongo入门 参考: http://api.mongodb.com/java/3.2/ http://www.runoob.com/mongodb/mongodb java.html https://docs.mongodb.com/manual/ 1.dependency org.m 阅读全文
posted @ 2016-11-04 18:28 某人的喵星人 阅读(4291) 评论(0) 推荐(2) 编辑
  2015年7月23日
摘要: 简单说来,一个java程序的运行需要编辑源码、编译生成class文件、加载class文件、解释或编译运行class中的字节码指令。下面有一段简单的java源码,通过它来看一下java程序的运行流程: 1 class Person 2 3 { 4 5 private String n... 阅读全文
posted @ 2015-07-23 21:39 某人的喵星人 阅读(17066) 评论(5) 推荐(7) 编辑
  2015年7月20日
摘要: 前段时间重装了系统,后来说是又要用php,就重新搭建了apache+php+mysql的环境,由于之前搭建过好多次,感觉很easy,很快就搭建完成,然后写了下面的常用的测试环境的代码:1 然后正常输出,感觉环境没问题,就没管了……最近要用了,运行以前的项目代码(使用了CI框架)却一直显示空白页面,得... 阅读全文
posted @ 2015-07-20 19:50 某人的喵星人 阅读(685) 评论(1) 推荐(0) 编辑
  2015年7月19日
摘要: 1.获取当前地理位置:Android中提供了一个LocationManager的类,用于管理地理位置。不能通过构造函数获取该类的实例,而是通过Context的getSystemService():LocationManager lm = (LocationManager) getSystemServ... 阅读全文
posted @ 2015-07-19 11:43 某人的喵星人 阅读(3944) 评论(1) 推荐(2) 编辑
  2015年7月18日
摘要: 1.准备工作:百度地图API是免费开放的,但是需要申请API Key:1)先注册一个百度开发者帐号2)进入百度开放服务平台http://developer.baidu.com/3)进入LBS云4)点击右上角的API控制台,没有登录的话会先跳转到登录页面,登录成功之后就进入应用控制台了:5)点击创建应... 阅读全文
posted @ 2015-07-18 12:12 某人的喵星人 阅读(6828) 评论(3) 推荐(2) 编辑