07 2017 档案

kafka生产者
摘要：1、kafka生产者是线程安全的，她允许多个线程共享一个kafka实例 2、kafka管理一个简单的后台线程，所有的IO操作以及与每个broker的tcp连接通信，如果没有正确的关闭生产者可能会造成资源泄露。 kafka总共有以下的这些生产者实例 以及相应的方法 主要介绍send方法 阅读全文
posted @ 2017-07-30 10:13 erererer 阅读(1088) 评论(0) 推荐(0)
scala基础学习（一）
摘要：scala学习 scala与java的不同之处： 1、scala中任何一个操作符都是一个方法。 s = 1+2; 可以写作：s=(1).+(2) 2、异常捕获采用模式匹配的方式。 3、并且scala中try-finally语句中产生返回值，但是finally中最好用于关闭连接等必须要完成的事。 4、 阅读全文
posted @ 2017-07-23 11:10 erererer 阅读(207) 评论(0) 推荐(0)
zookeeper及kafka集群搭建
摘要：zookeeper及kafka集群搭建 1、有关zookeeper的介绍可参考：http://www.cnblogs.com/wuxl360/p/5817471.html 2、zookeeper安装 下载地址：http://zookeeper.apache.org/ 安装过程：http://blog 阅读全文
posted @ 2017-07-10 21:30 erererer 阅读(293) 评论(0) 推荐(0)
spark streaming将处理结果存入mysql中（使用c3p0连接池）
摘要：1、c3p0相应的架包导入工程中 将以下四个架包导入工程， 主要有三个架包：c3p0-0.9.5.2.jar c3p0-oracle-thin-extras-0.9.5.2.jar mchange-commons-java-0.9.5.2.jar 记得一定要导入mysql-connector-jav 阅读全文
posted @ 2017-07-03 00:44 erererer 阅读(1666) 评论(0) 推荐(0)
map reduce学习（1）
摘要：始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术 阅读全文
posted @ 2017-07-02 21:40 erererer
namenode及datanode
摘要：HDFS集群有两类节点以管理者-工作者模式运行，即一个namenode(管理者)和多个datanode(工作者)。namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode也记录着 阅读全文
posted @ 2017-07-02 21:34 erererer
数据导入Sqoop 、Flume、distip
摘要：Apache Flume是一个将大规模数据导入HDFS的工具，典型的应用是从另一个系统中收集日志数据。通过管道方式将数据写入Flume，再通过Flume将事件写入HDFS中。 Flume提供了不通级别的数据投递可靠性，如最大努力投递，在多个Flume节点失效的情况下成功投递。 Apache Sqoo 阅读全文
posted @ 2017-07-02 21:33 erererer
jdk环境变量配置
摘要：1、网上下载jdk安装包进行安装； 2、配置环境变量 win8及以前版本 我的电脑->右键->属性->高级变量->系统变量 win10版本 控制面板->系统和安全->系统->高级系统设置->环境变量->系统变量 3、(1) 新建环境变量 变量名：JAVA_HOME 值：D:\software\jdk 阅读全文
posted @ 2017-07-02 21:31 erererer
hbase简单操作
摘要：hbase有hbase shell以及hbase 客户端api两种方式进行hbase数据库操作； 首先，hbase shell是在linux命令行进行操作，输入hbase shell命令，进入shell命令行。 输入 help 可以看到命令分组 上面是hbase的一些操作，要查看具体某一个操作，例如 阅读全文
posted @ 2017-07-02 21:30 erererer 阅读(217) 评论(0) 推荐(0)
hbase学习笔记
摘要：1、hbase主要通过行主键,列主键，及时间这样的索引找到具体的值的，其中行主键以及主键（即列名)是字典序列存储的，而时间是根据递减排序的。其中列族的多少是确定的，在列族中的列的个数没有限制。hbase中对于列值为空的值不存储。 2、hbase中扩展及负载均衡的基本单元是region，他本质上是以行 阅读全文
posted @ 2017-07-02 21:30 erererer 阅读(122) 评论(0) 推荐(0)
hbase非结构化数据库与结构化数据库比较
摘要：目的：了解hbase与支持海量数据查询的特性以及实现方式 传统关系型数据库特点及局限 传统数据库事务性特别强，要求数据完整性及安全性，造成系统可用性以及伸缩性大打折扣。对于高并发的访问量，数据库性能不是很好，类似于互联网这样的访问量容易造成宕机。 hbase hbase是基于列存储的数据库与传统的基 阅读全文
posted @ 2017-07-02 21:30 erererer 阅读(7010) 评论(0) 推荐(0)
python学习笔记（一）
摘要：以前学习过c/c++,在初次接触python后有恨多类似的概念，最近开始接触python，正在阅读python简明教程，遇到的python自己的语法特性。 python中的缩进代表python中的一个块，缩进很重要； python中是大小写敏感的； python中用：（冒号）结尾表示下一行开启一个块 阅读全文
posted @ 2017-07-02 21:26 erererer 阅读(272) 评论(0) 推荐(0)
eclipse中启动 Eclipse 弹出“Failed to load the JNI shared library jvm.dll”错误
摘要：原因1：给定目录下jvm.dll不存在。 对策：（1）重新安装jre或者jdk并配置好环境变量。（2）copy一个jvm.dll放在该目录下。 原因2：eclipse的版本与jre或者jdk版本不一致 对策：要么两者都安装64位的，要么都安装32位的，不能一个是32位一个是64位。 原因2的概率更大 阅读全文
posted @ 2017-07-02 20:52 erererer 阅读(137) 评论(0) 推荐(0)
外键建立失败
摘要：在MySQL中创建外键时，经常会遇到问题而失败，这是因为mysql中还有很多细节需要我们去留意，我自己总结并查阅资料后列出了以下几种常见原因。 1. 两个字段的类型或者大小不严格匹配。例如，如果一个是int(10)，那么外键也必须设置成int(10)，而不是int(11)，也不能是tinyint。另 阅读全文
posted @ 2017-07-02 20:50 erererer 阅读(238) 评论(0) 推荐(0)
scala函数式编程（一）
摘要：scala函数编程特点： 1、Scala函数使用命名参数； 即函数参数传递的实参与函数名相对应，与函数位置不对应。 object Test { def main(args: Array[String]) { printInt(b=5, a=7); } def printInt( a:Int, b:I 阅读全文
posted @ 2017-07-02 20:47 erererer 阅读(344) 评论(0) 推荐(0)