Fork me on GitHub

2017年8月2日

摘要: 1、Impala简介 • Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 • 基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 • 是CDH平台首选的PB级大数据实时查询分析引擎 官网:http://www.cloudera.c 阅读全文
posted @ 2017-08-02 18:43 HackerVirus 阅读(1398) 评论(0) 推荐(0)
摘要: Hadoop HBase协处理器 摘要: 说明:类似于RDBMS中触发器,允许用户在region服务器上运行自己的代码,在客户端用户不用关心操作具体在哪进行使用场景:权限控制,回调函数(钩子函数)、扫描统计等主要类:observer和endpointobserver:类似触发器,回调函数在特定事件发 阅读全文
posted @ 2017-08-02 18:39 HackerVirus 阅读(229) 评论(0) 推荐(0)
摘要: sqoop工具从oracle导入数据 sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁,支持关系型数据库和hive、hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入 从RDBMS中抽取出的数据可以被MapReduce程序使用,也可以被类似Hive的工具使用;得到分 阅读全文
posted @ 2017-08-02 18:33 HackerVirus 阅读(442) 评论(0) 推荐(0)
摘要: 使用sqoop将oracle数据导入hdfs集群 集群环境: hadoop1.0.0 hbase0.92.1 zookeeper3.4.3 hive0.8.1 sqoop-1.4.1-incubating__hadoop-1.0.0.tar 首先,当然前提是Hadoop集群环境已经搭建好了。如没有搭 阅读全文
posted @ 2017-08-02 18:25 HackerVirus 阅读(1485) 评论(0) 推荐(0)

2017年8月1日

摘要: wangkeustc wangkeustc hadoop以及相关组件介绍以及个人理解 前言 本人是由java后端转型大数据方向,目前也有近一年半时间了,不过我平时的开发平台是阿里云的Maxcompute,通过这么长时间的开发,对数据仓库也有了一定的理解,ETL这些经验还算比较丰富。但是由于Maxco 阅读全文
posted @ 2017-08-01 19:45 HackerVirus 阅读(264) 评论(0) 推荐(0)
摘要: net的微服务架构 眼下,做互联网应用,最火的架构是微服务,最热的研发管理就是DevOps, 没有之一。微服务、DevOps已经被大量应用,它们已经像传说中的那样,可以无所不能。特来电云平台,通过近两年多的实践,发现完全不像大家说的那样简单,大家是报喜不报忧,实在是水太深,谁做谁知道。今天就与大家分 阅读全文
posted @ 2017-08-01 19:39 HackerVirus 阅读(1524) 评论(0) 推荐(0)
摘要: Impala相关操作上 阅读目录 序 数据库相关 表相关 系列索引 序 上一篇,我们介绍Impala的介绍及安装。 下面我们开始继续进一步的了解Impala的相关操作。 数据库相关 一:创建 在这里,数据库就是一个目录结构,当然对于的元数据还会持久化到关系型数据库。 create database 阅读全文
posted @ 2017-08-01 19:35 HackerVirus 阅读(446) 评论(0) 推荐(0)
摘要: Cache中间件和缓存降级 1、前言 surging受到不少.net同学的青睐,也提了不少问题,提的最多的是什么时候集成API 网关,在这里回答大家最近已经开始着手研发,应该在1,2个月内会有个初版API网关,其它像Token身份验证,限流降级等功能完成时间会往后推 最近也更新了surging新的版 阅读全文
posted @ 2017-08-01 17:46 HackerVirus 阅读(3489) 评论(0) 推荐(0)
摘要: 懵懂oracle之存储过程3--JOB详解 在前面学习了存储过程的开发、调试之后,我们现在就需要来使用存储过程了。简单的使用,像上篇《懵懂oracle之存储过程2》中提到的存储过程调用,我们可以将写好的存储过程在另一个PL/SQL块亦或是另一个存储过程中调用执行,而很多情况下,我们往往需要定时执行这 阅读全文
posted @ 2017-08-01 16:53 HackerVirus 阅读(500) 评论(0) 推荐(0)
摘要: SQL Server事务遭遇网络异常时的处理机制浅析 SQL Server数据库中,如果应用程序正在执行一个事务的时候突然遭遇了网络异常,例如网络掉包,网络中断等,那么这个事务会怎么样? SQL Server数据库是通过什么机制来判断处理呢? 估计很多人跟我一样都有不少疑问, 我们下面构造一个测试实 阅读全文
posted @ 2017-08-01 14:20 HackerVirus 阅读(429) 评论(0) 推荐(0)