ErBing

往事已经定格,未来还要继续。

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2017年12月6日

摘要:【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、 安装IntelliJ IDEA IDEA 全称 IntelliJ IDEA,是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、 阅读全文
posted @ 2017-12-06 15:17 ErBing 阅读(201) 评论(0) 推荐(0) 编辑

摘要:【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、Spark编程模型 1.1 术语定义 l应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executor; l驱动程序(Drive 阅读全文
posted @ 2017-12-06 14:50 ErBing 阅读(218) 评论(0) 推荐(0) 编辑

摘要:【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Spark Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具,而Maven安装则需要maven工具, 阅读全文
posted @ 2017-12-06 11:22 ErBing 阅读(2242) 评论(0) 推荐(0) 编辑

摘要:【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包,建议安装3.0以上版本,本次安装选择的是maven3.0.5的二进制包,下载地址如下 http:// 阅读全文
posted @ 2017-12-06 11:19 ErBing 阅读(185) 评论(0) 推荐(0) 编辑

摘要:【注】 1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取; 2、Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用一般使用64位操作系统,内容分为三部分:基础环境搭建、Hadoop编译安装和Spark编译安装,该环境作为后续实 阅读全文
posted @ 2017-12-06 10:32 ErBing 阅读(193) 评论(0) 推荐(0) 编辑

摘要:【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月 阅读全文
posted @ 2017-12-06 10:28 ErBing 阅读(346) 评论(0) 推荐(0) 编辑

2017年10月30日

摘要:一、数据类型1.1数据类型可以表示一切的类型variant逻辑类型:boolean (true,false)数学类型: 整数:byte(0-255),integer(-32768-32767),long(-21亿-21亿) 小数:single,double,currency(货币类型,包含4位小数, 阅读全文
posted @ 2017-10-30 18:14 ErBing 阅读(9237) 评论(0) 推荐(1) 编辑

2017年9月8日

摘要:#单机模式 解压到合适目录. 进入zookeeper目录下的conf子目录, 复制zoo_sample.cfg-->zoo.cfg(如果没有data和logs就新建):tickTime=2000 dataDir=/Users/apple/zookeeper/data dataLogDir=/User 阅读全文
posted @ 2017-09-08 11:40 ErBing 阅读(212) 评论(0) 推荐(0) 编辑

2017年9月6日

摘要:hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的'/hbase'目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hd 阅读全文
posted @ 2017-09-06 17:47 ErBing 阅读(1431) 评论(0) 推荐(0) 编辑

2017年7月31日

摘要:1.MySQL主从复制入门 首先,我们看一个图: 影响MySQL-A数据库的操作,在数据库执行后,都会写入本地的日志系统A中。 假设,实时的将变化了的日志系统中的数据库事件操作,在MYSQL-A的3306端口,通过网络发给MYSQL-B。 MYSQL-B收到后,写入本地日志系统B,然后一条条的将数据 阅读全文
posted @ 2017-07-31 14:58 ErBing 阅读(236) 评论(0) 推荐(0) 编辑