随笔列表第2页 - Bodi

2016年9月21日

摘要：一、环境准备系统：CentOS 6.5 防火墙已关闭：service iptables stop MySql：已安装配置MySql 具体方法：MySQL手动安装方法：点击查看主从服务器： 192.168.244.11 node1 主 192.168.244.12 node2 从二、配置主从服阅读全文

posted @ 2016-09-21 18:20 Bodi 阅读(629) 评论(0) 推荐(0) 编辑

MyCat 介绍、分片规则、调优的内容收集

摘要：一、MyCat的简介 MyCat高可用、负载均衡架构图：详细知识点： MySQL分布式集群之MyCAT（一）简介（修正）二、MyCat的schema.xml讲解详细知识点：MySQL分布式集群之MyCAT（二）schema详解（修正）三、MyCat的分片规则详细知识点：MySQL分布式集群阅读全文

posted @ 2016-09-21 17:24 Bodi 阅读(1824) 评论(0) 推荐(0) 编辑

2016年9月19日

MyCat 安装部署，实现数据库分片存储

摘要：一、安装MySQL或MariaDB（本文以MariaDB为例） MySQL手动安装方法：点击查看 MariaDB安装： 1、下载MariaDB的repo 2、安装MariaDB 其他修改MariaDB的密码或授权操作与MySql无异，可按http://www.cnblogs.com/raphael5 阅读全文

posted @ 2016-09-19 13:58 Bodi 阅读(7886) 评论(0) 推荐(0) 编辑

2016年8月19日

[转]Activemq管理和基本介绍

摘要： 1、ActiveMQ服务器工作模型通过ActiveMQ消息服务交换消息。消息生产者将消息发送至消息服务，消息消费者则从消息服务接收这些消息。这些消息传送操作是使用一组实现 ActiveMQ应用编程接口 (API) 的对象来执行的。 ActiveMQ客户端使用 ConnectionFactory 对阅读全文

posted @ 2016-08-19 11:36 Bodi 阅读(1880) 评论(0) 推荐(0) 编辑

[转]ActiveMQ 即时通讯服务浅析

摘要：一、概述与介绍 ActiveMQ 是Apache出品，最流行的、功能强大的即时通讯和集成模式的开源服务器。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。提供客户端支持跨语言和协议，带有易于在充分支持JMS 1.1和1.4使用J2EE企业集成模式阅读全文

posted @ 2016-08-19 10:14 Bodi 阅读(990) 评论(0) 推荐(0) 编辑

2016年7月18日

Redis 3.0集群 Window搭建方案

摘要： Redis 3.0集群 Window搭建方案 1、集群安装前准备安装Ruby环境，安装：rubyinstaller-2.3.0-x64.exe http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64.exe 这里将R 阅读全文

posted @ 2016-07-18 14:36 Bodi 阅读(3138) 评论(0) 推荐(0) 编辑

2016年5月16日

【转】史上最全的“大数据”学习资源整理

摘要：当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，阅读全文

posted @ 2016-05-16 10:29 Bodi 阅读(2038) 评论(0) 推荐(0) 编辑

【转】【漫画解读】HDFS存储原理

摘要：根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。一、角色出演如上图所示，HDFS存储相关角色与功能如下： Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。 Namenode：元数阅读全文

posted @ 2016-05-16 10:27 Bodi 阅读(2793) 评论(1) 推荐(1) 编辑

2016年4月17日

Linux 时间定时同步操作

摘要： Yum –y install ntp安装时钟同步服务加入开机启动Chkcongfig ntpd on添加自动校对时间，每十分钟校对一次Crontab –e */10 * * * * /usr/sbin/ntpdate s2c.time.edu.cn 阅读全文

posted @ 2016-04-17 16:55 Bodi 阅读(390) 评论(0) 推荐(0) 编辑

2016年3月29日

2、elasticsearch 的安装和插件的安装

摘要： 1、安装Elasticsearch集群 1.下载elasticsearch-2.0.0.tar.gz，执行tar -zxvf elasticsearch-2.0.0.tar.gz解压 2.修改config/elasticsearch.yml (注意不要顶格写首字母前面加一空格，冒号后面要加一个空格) 阅读全文

posted @ 2016-03-29 23:11 Bodi 阅读(4124) 评论(0) 推荐(0) 编辑

1、elasticsearch简介

摘要： 1、elasticsearch简介中文帮助文档地址：http://es.xiaoleilu.com/ • Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口。 – 普通请求是... 阅读全文

posted @ 2016-03-29 22:36 Bodi 阅读(1019) 评论(0) 推荐(0) 编辑

2016年3月23日

Impala 5、Impala 性能优化

摘要： • 执行计划 – 查询sql执行之前，先对该sql做一个分析，列出需要完成这一项查询的详细方案 – 命令：explain sql、profile 要点： • 1、SQL优化，使用之前调用执行计划 • 2、选择合适的文件格式进行存储 • 3、避免产生很多小文件（如果有其他程序产生的小文件，可以使用中间阅读全文

posted @ 2016-03-23 22:38 Bodi 阅读(2208) 评论(0) 推荐(1) 编辑

Impala 4、Impala JDBC

摘要： • 配置： – impala.driver=org.apache.hive.jdbc.HiveDriver – impala.url=jdbc:hive2://node2:21050/;auth=noSasl – impala.username= – impala.password=• 尽量使用Pr 阅读全文

posted @ 2016-03-23 22:32 Bodi 阅读(4600) 评论(0) 推荐(0) 编辑

Impala 3、Impala、Hbase整合

摘要： Impala可以通过Hive外部表方式和HBase进行整合，步骤如下： • 步骤1：创建hbase 表，向表中添加数据 • 步骤2：创建hive表 • 步骤3：刷新Impala表阅读全文

posted @ 2016-03-23 22:28 Bodi 阅读(2213) 评论(0) 推荐(0) 编辑

Impala 2、Impala Shell 和 Impala SQL

摘要： 1、Impala 外部 Shell Impala外部Shell 就是不进入Impala内部，直接执行的ImpalaShell 例如通过外部Shell查看Impala帮助可以使用： $ impala-shell -h 这样就可以查看了；再例如显示一个SQL语句的执行计划： $ impala-shel 阅读全文

posted @ 2016-03-23 21:50 Bodi 阅读(20518) 评论(1) 推荐(4) 编辑

2016年3月21日

Impala 1、Impala理论

摘要：

• Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 • 基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点 • 是CDH平台首选的PB级大数据实时查询分析引擎阅读全文

posted @ 2016-03-21 22:45 Bodi 阅读(2282) 评论(0) 推荐(2) 编辑

2016年3月20日

Mysql 添加用户和数据库授权

摘要：注:我的运行环境是widnows xp professional + MySQL5.0 一, 创建用户: 命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 说明:username - 你将创建的用户名, host - 指定该用户在哪阅读全文

posted @ 2016-03-20 09:55 Bodi 阅读(1846) 评论(0) 推荐(0) 编辑

2016年3月18日

CDH 2、Cloudera Manager的安装

摘要： 1、Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用。 • 作用： – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装、配置，启动和停止服务 – 管理服务运行的群集 • Agen 阅读全文

posted @ 2016-03-18 23:26 Bodi 阅读(5144) 评论(0) 推荐(2) 编辑

CDH 1、CDH简介

摘要： 1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort 阅读全文

posted @ 2016-03-18 22:40 Bodi 阅读(58846) 评论(0) 推荐(2) 编辑

2016年3月17日

Zookeeper 5、Zookeeper应用场景

摘要：应用场景1 、统一命名服务 » 分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住，通常情况下用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，既对人友好又不会重复。 » Name Service 是 Zookeeper 内置的功能，只要调用阅读全文

posted @ 2016-03-17 22:29 Bodi 阅读(4783) 评论(2) 推荐(0) 编辑

Zookeeper 4、Zookeeper开发

摘要： 1、登录Zookeeper客户端 2、如何在Zookeeper下使用帮助文档下面是一些小练习：阅读全文

posted @ 2016-03-17 22:08 Bodi 阅读(4592) 评论(0) 推荐(0) 编辑

2016年3月16日

Zookeeper 3、Zookeeper工作原理（详细）

摘要： 1、Zookeeper的角色 » 领导者（leader），负责进行投票的发起和决议，更新系统状态 » 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票 » Observer可以接受客户端连阅读全文

posted @ 2016-03-16 22:49 Bodi 阅读(204154) 评论(12) 推荐(21) 编辑

Zookeeper 2、Zookeeper的安装和配置（集群模式）

摘要： 1、下载与解压 Zookeeper下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper/ 下载完成以后解压到一个特定目录 2、Zooker配置 Zookeeper集群模式至少需要3台主机进行搭建，准备三台主机Serve1、Server2、Server 阅读全文

posted @ 2016-03-16 21:57 Bodi 阅读(10227) 评论(0) 推荐(0) 编辑

Zookeeper 1、Zookeeper 定义与工作原理

摘要：

阅读全文

posted @ 2016-03-16 21:31 Bodi 阅读(6837) 评论(1) 推荐(3) 编辑

2016年3月11日

HBase 6、用Phoenix Java api操作HBase

摘要：开发环境准备：eclipse3.5、jdk1.7、window8、hadoop2.2.0、hbase0.98.0.2、phoenix4.3.0 1、从集群拷贝以下文件：core-site.xml、hbase-site.xml、hdfs-site.xml文件放到工程src下 2、把phoenix的ph 阅读全文

posted @ 2016-03-11 21:40 Bodi 阅读(11711) 评论(4) 推荐(1) 编辑

机器学习 2、线性回归

摘要：

线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布阅读全文

posted @ 2016-03-11 16:49 Bodi 阅读(430) 评论(0) 推荐(0) 编辑

Linux MySql安装步骤

摘要：本文将以MySQL 5.5.47为例，以CentOS 6.5为平台，讲述MySQL数据库的安装和设置。源码包方式安装 1.新建MySql用户和用户组 groupadd mysql useradd -r -g mysql -M mysql yum install boost-devel tar -z 阅读全文

posted @ 2016-03-11 15:03 Bodi 阅读(2189) 评论(0) 推荐(0) 编辑

机器学习 1、R语言

摘要：

R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。阅读全文

posted @ 2016-03-11 10:10 Bodi 阅读(1296) 评论(1) 推荐(0) 编辑

2016年3月9日

HBase 5、Phoenix使用

摘要： 1、建表执行建表语句 $ ./psql.py localhost:2181 ../examples/stock_symbol.sql 其中../examples/stock_symbol.sql是建表的sql语句 CREATE TABLE IF NOT EXISTS WEB_STAT ( HOST 阅读全文

posted @ 2016-03-09 23:20 Bodi 阅读(4816) 评论(0) 推荐(0) 编辑

HBase 4、Phoenix安装和Squirrel安装

摘要：描述现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要记录Phoenix。 phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java 阅读全文

posted @ 2016-03-09 23:12 Bodi 阅读(12621) 评论(0) 推荐(2) 编辑

2016年3月7日

HBase 3、HBase练习题

摘要： 1、建立学生和课程表要求：学生可以选择多个课程，每个课程可以被多个学生选择。查询某个学生所选的所有课程列表查询某个课程，的学生列表学生可以修改所选的课程方案：学生与课程之间是多对多关系，那可以建三张表学生表、课程表、学生课程关系表查询某个学生所选的所有课程列表：通过学生ID到学生课程表阅读全文

posted @ 2016-03-07 21:40 Bodi 阅读(5152) 评论(0) 推荐(0) 编辑

2016年3月1日

HBase 2、HBase安装与初试牛刀

摘要：官方帮助文档：http://hbase.apache.org/book.html PDF：http://hbase.apache.org/apache_hbase_reference_guide.pdf 1、安装前准备 – Hadoop集群要启动正常 – Zookeeper集群启动正常 HBase 阅读全文

posted @ 2016-03-01 21:51 Bodi 阅读(3699) 评论(0) 推荐(1) 编辑

2016年2月29日

HBase 1、HBase介绍和工作原理

摘要：

　　HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。阅读全文

posted @ 2016-02-29 22:25 Bodi 阅读(52981) 评论(1) 推荐(3) 编辑

2016年2月27日

Hadoop 7、MapReduce执行环境配置

摘要： MR执行环境有两种：本地测试环境，服务器环境本地测试环境(windows，用于测试) 1、下载Winddows版的Hadoop程序，解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件（下载地址：http://pan.baidu.com/s/1mhrsQyG） 2、在wi 阅读全文

posted @ 2016-02-27 22:17 Bodi 阅读(2065) 评论(0) 推荐(0) 编辑

Hadoop 6、第一个mapreduce程序 WordCount

摘要： 1、程序代码 Map: import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io 阅读全文

posted @ 2016-02-27 21:55 Bodi 阅读(3140) 评论(0) 推荐(0) 编辑

2016年2月26日

Hive 11、Hive嵌入Python

摘要： Hive嵌入Python Python的输入输出都是\t为分隔符，否则会出错，python脚本输入print出规定格式的数据用法为先add file，使用语法为TRANSFORM (name, items) USING 'python test.py' AS (name string, item1 阅读全文

posted @ 2016-02-26 22:02 Bodi 阅读(1937) 评论(0) 推荐(0) 编辑

Hive 12、Hive优化

摘要：要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如阅读全文

posted @ 2016-02-26 20:43 Bodi 阅读(767) 评论(0) 推荐(0) 编辑

2016年2月24日

Hive 10、Hive的UDF、UDAF、UDTF

摘要： Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min UDTF(User-Defined Table-G 阅读全文

posted @ 2016-02-24 22:08 Bodi 阅读(14228) 评论(0) 推荐(1) 编辑

[转] Hive 内置函数

摘要：原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符1.1关系运算符运算符类型说明 A = B 所有原始类型如果A与B相等,返回TRUE,否则返回FALSE A == B 无失败，因为阅读全文

posted @ 2016-02-24 21:34 Bodi 阅读(477) 评论(0) 推荐(0) 编辑

Hive 9、Hive 在表中添加正则匹配

摘要：在Hive中还有一项比较好用的功能，也是非常重要的功能：在建表的时候可以不指定表的行、字段、列的分隔方式，通过给表指定一段正则表达式，让Hive自动去匹配； 1、创建表 CREATE TABLE apachelog ( dates STRING, times STRING, types STRING 阅读全文

posted @ 2016-02-24 21:06 Bodi 阅读(2567) 评论(1) 推荐(0) 编辑

Bodi

公告