摘要：
熟悉了Sqlserver的sqlserver management studio、Oracle的PL/SQL可视化数据库查询分析工具，在刚开始使用hive、phoenix等类sql组件时，一直在苦苦搜寻是否也有类似的工具，不负所望，SQuirrel Sql client 可视化数据库工具基本可满足要 阅读全文
posted @ 2016-08-12 00:04 天戈朱 阅读(10818) 评论(2) 推荐(0) 编辑
摘要：
针对Windows 32位和64位的系统对应有多个版本的 Hive ODBC Connector, 在安装的过程中，版本必须完全匹配（即：32位的 connector 只能在32位的系统运行，64位的 connector 只能在 64位系统运行） 参考资料： http://doc.mapr.com/ 阅读全文
posted @ 2016-08-11 22:04 天戈朱 阅读(3482) 评论(1) 推荐(0) 编辑
摘要：
Hive是一个基于Hadoop的数据仓库，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层，设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据，2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整 阅读全文
posted @ 2016-08-11 21:59 天戈朱 阅读(9659) 评论(1) 推荐(0) 编辑
摘要：
上一章完成了c#访问hbase的sdk封装，接下来以一个具体Demo对sdk进行测试验证。场景：每5秒抓取指定股票列表的实时价格波动行情，数据下载后，一方面实时刷新UI界面，另一方面将数据放入到在内存中模拟的MQ (实际生产情况，可用kafka等集群代替）->存入HBase数据库。提供按指定时间范围 阅读全文
posted @ 2016-08-10 18:50 天戈朱 阅读(3552) 评论(0) 推荐(0) 编辑
摘要：
HDP2.4安装系列介绍了通过ambari创建hbase集群的过程，但工作中一直采用.net的技术路线，如何去访问基于Java搞的Hbase呢？ Hbase提供基于Java的本地API访问，同时扩展了通过 Thrift、Rest 实现Web访问的API。 so 决定开发基于.net的 sdk，通过其 阅读全文
posted @ 2016-08-10 08:51 天戈朱 阅读(8647) 评论(1) 推荐(3) 编辑
摘要：
HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本 阅读全文
posted @ 2016-08-08 11:07 天戈朱 阅读(7681) 评论(0) 推荐(0) 编辑
摘要：
ambari是apache基金会的开源项目，它的优势在于巧妙溶合已有的开源软件，提供集群自动化安装、中心化管理、集群监控、报警等功能。据Hortonwork官方资料介绍，不同的HDP版本，对ambari的版本也有不同的要求（如下图，来源于hortonwork官网），在安装HDP2.4的过程中，选择的 阅读全文
posted @ 2016-08-07 16:13 天戈朱 阅读(2278) 评论(0) 推荐(0) 编辑
摘要：
在安装Ambari时，Ambari默认的数据库是ProstgreSQL，对ProstgreSQL不太熟悉，选择使用MySql。 但Centos 7 默认支持的是MariaDB数据库. MariaDB是MySQL的一个分支，主要由开源社区在维护。安装过程中先将Centos7默认安装的MariaDB数据 阅读全文
posted @ 2016-08-06 15:10 天戈朱 阅读(1430) 评论(0) 推荐(0) 编辑
摘要：
Centos7 Minimal Install 安装完成后是不支持上网的，并且大部分常用的软件也未安装，首先要解决的问题就是网络配置。当网络配通后，即可通过Xshell或其它工具来远程进行操作与管理，推荐工具 XShell (可在window下远程操作和控制linux主机）、winSCP(windo 阅读全文
posted @ 2016-08-06 10:38 天戈朱 阅读(1341) 评论(2) 推荐(0) 编辑