摘要：
转载：https://www.iteblog.com/archives/1322.html Apache Kafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据，这里将会介绍两 阅读全文
posted @ 2017-08-06 13:12
erererer
阅读(841)
评论(0)
推荐(0)
摘要：
样本类 1、带有case关键字的类被称为样本类； 例如：abstract class Expr case class Var(name: String) extends Expr case class Number(num: Double) extends Expr case class UnOp( 阅读全文
posted @ 2017-08-05 16:56
erererer
阅读(236)
评论(0)
推荐(0)
摘要：
1、kafka生产者是线程安全的，她允许多个线程共享一个kafka实例 2、kafka管理一个简单的后台线程，所有的IO操作以及与每个broker的tcp连接通信，如果没有正确的关闭生产者可能会造成资源泄露。 kafka总共有以下的这些生产者实例 以及相应的方法 主要介绍send方法 阅读全文
posted @ 2017-07-30 10:13
erererer
阅读(1079)
评论(0)
推荐(0)
摘要：
scala学习 scala与java的不同之处： 1、scala中任何一个操作符都是一个方法。 s = 1+2; 可以写作：s=(1).+(2) 2、异常捕获采用模式匹配的方式。 3、并且scala中try-finally语句中产生返回值，但是finally中最好用于关闭连接等必须要完成的事。 4、 阅读全文
posted @ 2017-07-23 11:10
erererer
阅读(203)
评论(0)
推荐(0)
摘要：
zookeeper及kafka集群搭建 1、有关zookeeper的介绍可参考：http://www.cnblogs.com/wuxl360/p/5817471.html 2、zookeeper安装 下载地址：http://zookeeper.apache.org/ 安装过程：http://blog 阅读全文
posted @ 2017-07-10 21:30
erererer
阅读(290)
评论(0)
推荐(0)
摘要：
1、c3p0相应的架包导入工程中 将以下四个架包导入工程， 主要有三个架包：c3p0-0.9.5.2.jar c3p0-oracle-thin-extras-0.9.5.2.jar mchange-commons-java-0.9.5.2.jar 记得一定要导入mysql-connector-jav 阅读全文
posted @ 2017-07-03 00:44
erererer
阅读(1660)
评论(0)
推荐(0)
摘要：
1、网上下载jdk安装包进行安装； 2、配置环境变量 win8及以前版本 我的电脑->右键->属性->高级变量->系统变量 win10版本 控制面板->系统和安全->系统->高级系统设置->环境变量->系统变量 3、(1) 新建环境变量 变量名：JAVA_HOME 值：D:\software\jdk 阅读全文
posted @ 2017-07-02 21:31
erererer
阅读(264)
评论(0)
推荐(0)
摘要：
1、hbase主要通过行主键,列主键，及时间这样的索引找到具体的值的，其中行主键以及主键（即列名)是字典序列存储的，而时间是根据递减排序的。其中列族的多少是确定的，在列族中的列的个数没有限制。hbase中对于列值为空的值不存储。 2、hbase中扩展及负载均衡的基本单元是region，他本质上是以行 阅读全文
posted @ 2017-07-02 21:30
erererer
阅读(117)
评论(0)
推荐(0)
摘要：
目的：了解hbase与支持海量数据查询的特性以及实现方式 传统关系型数据库特点及局限 传统数据库事务性特别强，要求数据完整性及安全性，造成系统可用性以及伸缩性大打折扣。对于高并发的访问量，数据库性能不是很好，类似于互联网这样的访问量容易造成宕机。 hbase hbase是基于列存储的数据库与传统的基 阅读全文
posted @ 2017-07-02 21:30
erererer
阅读(7004)
评论(0)
推荐(0)
摘要：
hbase有hbase shell以及hbase 客户端api两种方式进行hbase数据库操作； 首先，hbase shell是在linux命令行进行操作，输入hbase shell命令，进入shell命令行。 输入 help 可以看到命令分组 上面是hbase的一些操作，要查看具体某一个操作，例如 阅读全文
posted @ 2017-07-02 21:30
erererer
阅读(213)
评论(0)
推荐(0)
浙公网安备 33010602011771号