闲汉

摘要： 背景说明： 近期公司的数据增量迅速增长，存储的成本太高，需要采用生命周期进行管理，热存储中的数据或者被删除，或者备份至冷存储。但是冷备时是否要压缩，需要进行验证。Azure本身没有提供压缩的接口，只能自己处理。以下是测试的结论。 备份压缩步骤 采用压缩流。验证了两种方式，方式一在文件较大时（>3G） 阅读全文

摘要： 场景 HBase表TaskLog中有20.55G数据（20553078551Byte），目前存放在热存储中，现在要移至冷热储，并进行还原。 HBase目录：hbase/data/default 冷目录：Cold_Tasklog/TaskLog_20170817 其它：冷热两个存储账号的Account 阅读全文

摘要： 说明：近期做部分表结构设计，在word里设计调整好了，需要整理到PowerDesigner中，但是手工录入太麻烦。 找了个工具（地址：http://www.cnblogs.com/hwaggLee/p/5542078.html），将其做了部分修改和完善，并支持多个表同时导入。 使用方法： 1、整理E 阅读全文

摘要： 转载地址：http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html HBase架构组成 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServe 阅读全文

摘要： 转载地址：http://www.cbdio.com/BigData/2016-10/28/content_5362498.htm 红字体为个人标注。 2013年被众多的IT人定义为中国的大数据元年，这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划、POC尤其风 阅读全文

摘要： 目前国内主要有以下三种坐标系： 1. 地球坐标WGS84：为一种大地坐标系，也是目前广泛使用的GPS全球卫星定位系统使用的坐标系； 国际标准，从专业GPS 设备中取出的数据的坐标系 国际地图提供商使用的坐标系 2. 火星坐标GCJ02：表示经过国测局加密的坐标。即国测局坐标系 中国标准，从国行移动设 阅读全文

摘要： 调用百度api，根据经度和纬度获取地理位置信息，返回Json。 C#代码： 调用示例1： LocationService.GetLocation("0","0") 返回Json： {{ "country": "", "country_code": -1, "province": "", "city" 阅读全文

摘要： https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/ ORCFILE IN HDP 2: BETTER COMPRESSION, BETTER PERFORMANCE by Carte 阅读全文

摘要： 场景：HBase存储在Azure上，现在通过访问Azure Storage的接口，获取HBase中各个表的数据量。 注意： 1、Azure存储，默认的副本数为2，即共存3份，但只收1份的费用，取到的size也是1份的大小。如果是自建HDFS,则不同。 2、此处访问的是Azure Storage的接口 阅读全文