hadoop搭建部署
摘要：
HDFS(Hadoop Distributed File System)和Mapreduce是hadoop的两大核心： HDFS(文件系统)实现分布式存储的底层支持 Mapreduce(编程模型)实现分布式并行任务处理的程序支持 JobTracker 对应于 NameNode TaskTracker 阅读全文
posted @ 2016-05-19 18:07 星辰大海ゞ 阅读(388) 评论(0) 推荐(0)
2016年5月19日 #
2016年5月18日 #
Hadoop和Spark的异同
摘要：
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相 阅读全文
posted @ 2016-05-18 14:12 星辰大海ゞ 阅读(200) 评论(0) 推荐(0)
2016年5月17日 #
Innodb独立的undo tablespace
摘要：
[MySQL5.6] Innodb独立的undo tablespace [MySQL5.6] Innodb独立的undo tablespace [MySQL5.6] Innodb独立的undo tablespace 在MySQL5.6中开始支持把undo log分离到独立的表空间，并放到单独的文件目 阅读全文
posted @ 2016-05-17 18:02 星辰大海ゞ 阅读(3038) 评论(0) 推荐(0)
B树、B-树、B+树、B*树的定义和区分
摘要：
MySQL是基于B+树聚集索引组织表 B树 即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； 2.所有结点存储一个关键字； 3.非叶子结点的左指针指向小于其关键字的子树，右指针指向大于其关键字的子树； 如： B树的搜索，从根结点开始，如果查询的关键字与结点的关键字相等，那 阅读全文
posted @ 2016-05-17 15:02 星辰大海ゞ 阅读(10698) 评论(6) 推荐(0)
2016年5月10日 #
修复 MySQL 数据库结构错误 – mysql_upgrade升级
摘要：
不知道是不是每次更新 MySQL 软件之后都需要执行数据库升级指令？在我进行过的几次软件升级之后，总会在 MySQL 的日志中见到 “[ERROR] Missing system table mysql.proxies_priv; please run mysql_upgrade to create 阅读全文
posted @ 2016-05-10 11:05 星辰大海ゞ 阅读(3415) 评论(0) 推荐(0)
2016年5月5日 #
使用pt-table-checksum及pt-table-sync校验复制一致性
摘要：
一、简介 pt-table-checksum是percona-toolkit系列工具中的一个， 可以用来检测主、 从数据库中数据的一致性。其原理是在主库上运行， 对同步的表进行checksum， 记录下来。 然后对比主从中各个表的checksum是否一致， 从而判断数据是否一致。检测过程中以块为单位 阅读全文
posted @ 2016-05-05 10:26 星辰大海ゞ 阅读(2855) 评论(0) 推荐(0)
2016年4月27日 #
SED命令用法整理
摘要：
注释掉包含某字符串的行 sed /172.17.213.63:8031/s@^@#@g upstream.conf 取消注释包含某字符串的行 sed /172.17.213.63:8031/s@#@@g upstream.conf sed '/Started/'q 匹配到Started字符串则退出s 阅读全文
posted @ 2016-04-27 09:12 星辰大海ゞ 阅读(524) 评论(0) 推荐(0)
2016年4月26日 #
使用mysqlbinlog恢复指定表
摘要：
从整库备份的sql文件中导出某个表的sql语句时，vim查找到表的第一条INSERT语句后，按上下换行键计数INSERT语句的条数，然后按n yy复制，退出vim后，再新建一个文件，按p粘贴刚才的n条INSERT语句，再进行source导入。 # mysqlbinlog --no-defaults 阅读全文
posted @ 2016-04-26 16:47 星辰大海ゞ 阅读(9152) 评论(0) 推荐(0)
2016年4月22日 #
MySQL中的变量定义
摘要：
@var是用户自定义变量(user defined vars)，@@var是系统变量（system vars），@@var又分成两种：一个是seesion的(local)，一个是server的(global) 设置会话变量有如下三种方式：（ 全局同理 session替换成global ） set s 阅读全文
posted @ 2016-04-22 11:26 星辰大海ゞ 阅读(6730) 评论(0) 推荐(0)
2016年4月21日 #
Zabbix使用Omsa来监控Dell服务器的硬件状态
摘要：
OMSA(Open Manage Server Administrator)是Dell主机的硬件检测和维护软件 OpenManage系统管理方案是戴尔公司基于自主研发力量开发的IT系统管理解决方案，通过与业内领先的系统管理解决方案供应商密切配合，在深入了解用户对系统管理需求的基础上，OpenMana 阅读全文
posted @ 2016-04-21 14:57 星辰大海ゞ 阅读(1315) 评论(0) 推荐(0)
2016年4月18日 #
linux shell实现 URL 编码/解码方法
摘要：
（1）编码的两种方法 # echo '手机' | tr -d '\n' | xxd -plain | sed 's/\(..\)/%\1/g' # echo '手机' |tr -d '\n' |od -An -tx1|tr ' ' % （2）解码的两个步骤： # url="要解码的URL地址" # 阅读全文
posted @ 2016-04-18 15:33 星辰大海ゞ 阅读(4683) 评论(0) 推荐(0)
2016年4月15日 #
zabbix监控haproxy
摘要：
首先修改haproxy.cfg 通过命令行方式获取haproxy 检测页面中各后台服务的状态 vim /usr/local/zabbix/etc/monitor_scripts/discoverhaproxy.sh vim /usr/local/zabbix/etc/monitor_scripts/ 阅读全文
posted @ 2016-04-15 09:33 星辰大海ゞ 阅读(922) 评论(0) 推荐(0)
2016年4月13日 #
MySQL复制中slave延迟监控
摘要：
在MySQL复制环境中，我们通常只根据 Seconds_Behind_Master 的值来判断SLAVE的延迟。这么做大部分情况下尚可接受，但并不够准确，而应该考虑更多因素。 首先，我们先看下SLAVE的状态： 可以看到 Seconds_Behind_Master 的值是 3296，也就是SLAVE 阅读全文
posted @ 2016-04-13 10:17 星辰大海ゞ 阅读(253) 评论(0) 推荐(0)
mysql主从复制搭建中几种log和pos详解
摘要：
一、主从原理 Replication 线程 Mysql的 Replication 是一个异步的复制过程，从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在Master 与 Slave 之间的实现整个复制过程主要由三个线 阅读全文
posted @ 2016-04-13 09:52 星辰大海ゞ 阅读(3800) 评论(0) 推荐(0)
2016年4月12日 #
Linux下使用命令行配置IPMI
摘要：
ipmitool是什么： 百度百科给的解释已经够用了，简单说就是“IPMI（Intelligent Platform Management Interface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。用户可以利用 IPMI 监视服务器的物理特征，如温度、电压、电扇工作状态、 阅读全文
posted @ 2016-04-12 17:28 星辰大海ゞ 阅读(2597) 评论(0) 推荐(0)
2016年4月6日 #
Zabbix笔记
摘要：
简单检查中的icmppingloss[<target>,<packets>,<interval>,<size>,<timeout>] 结果返回百分比即丢包率，该项目依赖于fping命令，需要在服务端安装该命令 target - 目标IP或者域名 packets - 包个数 interval - 连续 阅读全文
posted @ 2016-04-06 21:24 星辰大海ゞ 阅读(511) 评论(0) 推荐(0)
zabbix_agentd.conf配置文件详解
摘要：
Aliaskey的别名，例如 Alias=ttlsa.userid:vfs.file.regexp[/etc/passwd,^ttlsa:.:([0-9]+),,,,\1]， 或者ttlsa的用户ID。你可以使用key：vfs.file.regexp[/etc/passwd,^ttlsa:.: ([ 阅读全文
posted @ 2016-04-06 21:14 星辰大海ゞ 阅读(1241) 评论(0) 推荐(0)
zabbix server配置文件参数详解
摘要：
AlertScriptsPath默认值：/usr/local/share/zabbix/alertscripts说明：告警脚本目录 AllowRoot默认值：0 说明：是否允许使用root启动，0:不允许，1:允许，默认情况下她会使用zabbix用户来启动zabbix进程，不推荐使用root Cac 阅读全文
posted @ 2016-04-06 21:09 星辰大海ゞ 阅读(1745) 评论(0) 推荐(0)
2016年4月1日 #
RESET MASTER和RESET SLAVE使用场景和说明，以及清除主从同步关系
摘要：
mysql主从复制中，需要将从库提升为主库，需要取消其从库角色，这可通过执行RESET SLAVE ALL清除从库的同步复制信息、包括连接信息和二进制文件名、位置。从库上执行这个命令后，使用show slave status将不会有输出。 RESET SLAVE vs. RESET SLAVE AL 阅读全文
posted @ 2016-04-01 08:54 星辰大海ゞ 阅读(9854) 评论(0) 推荐(0)
2016年3月26日 #
Linux架设PPTP VPN
摘要：
VPN连接成功后，可以通过# ip a |grep ppp 查看已经连接到VPN服务器的所有客户连接 PPTP（点到点隧道协议）是一种用于让远程用户拨号连接到本地的ISP，通过因特网安全远程访问公司资源的新型技术。它能将PPP（点到点协议）帧封装成IP数据包，以便能够在基于IP的互联网上进行传输。P 阅读全文
posted @ 2016-03-26 18:19 星辰大海ゞ 阅读(237) 评论(0) 推荐(0)
浙公网安备 33010602011771号