2017年9月29日
摘要: 安装HBase HBase是一个构建在HDFS上的分布式列存储系统,主要用于海量结构化数据存储。这里,我们的目标只是为Python访问HBase提供一个基本的环境,故直接下载二进制包,采用单机安装。下载后解压,修改配置文件,然后可以直接启动HBase了。所用系统版本为ubuntu14.04。 下载 阅读全文
posted @ 2017-09-29 16:15 junle 阅读(12761) 评论(0) 推荐(0) 编辑
  2017年7月31日
摘要: kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作是在现代网络上的许多社会功能的一个关键因素。 Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统( 阅读全文
posted @ 2017-07-31 15:29 junle 阅读(735) 评论(0) 推荐(0) 编辑
  2017年4月1日
摘要: 1、request_time 官网描述:request processing time in seconds with a milliseconds resolution; time elapsed between the first bytes were read from the client 阅读全文
posted @ 2017-04-01 14:32 junle 阅读(280) 评论(0) 推荐(0) 编辑
  2017年3月29日
摘要: 这里面都是一些很简单的规则,看似没有特别大的意义,但真实的不就是这么简单繁杂的工作吗? 军规适用场景:并发量大、数据量大的互联网业务 军规:介绍内容 解读:讲解原因,解读比军规更重要 一、基础规范 (1)必须使用InnoDB存储引擎 解读:支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资 阅读全文
posted @ 2017-03-29 18:08 junle 阅读(318) 评论(0) 推荐(0) 编辑
  2017年3月8日
摘要: 内置算法和模板说明 更新时间:2016-11-23 16:04:13 内置算法和模板说明 更新时间:2016-11-23 16:04:13 离线算法流程模板 main_ofl main_itm main_dft detail_ofl detail_itm detail_dft spl_grd_svd 阅读全文
posted @ 2017-03-08 17:02 junle 阅读(255) 评论(0) 推荐(0) 编辑
  2017年2月21日
摘要: 故障排查: 早上突然收到nagios服务器check_icmp的报警,报警显示一台网站服务器的内网网络有问题。因为那台服务器挂载了内网的NFS,因此内网的网络就采用nagios的check_icmp来做监控。 赶紧登录服务器进行排查。首先使用ping 内网IP的方式查看内网的连通性,ping的过程中 阅读全文
posted @ 2017-02-21 10:25 junle 阅读(1896) 评论(0) 推荐(0) 编辑
  2017年2月9日
摘要: 1. 前言 随着互联网技术和社会化网络的发展,每天有大量包括博客,图片,视频,微博等等的信息发布到网上。传统的搜索技术已经不能满足用户对信息发现的需求,原因有多种,可能是用户很难用合适的关键词来描述自己的需求,也可能用户需要更加符合他们兴趣和喜好的结果,又或是用户无法对自己未知而又可能感兴趣的信息做 阅读全文
posted @ 2017-02-09 19:37 junle 阅读(536) 评论(0) 推荐(0) 编辑
摘要: Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项, 这可以让有经验的管理员提高引人注目的系统性能。用sysctl可以读取设置超过五百个系统变量。基于这点,sysctl(8) 提供两个功能:读取和修改系统设置。 查看所有可读变量: % 阅读全文
posted @ 2017-02-09 10:36 junle 阅读(805) 评论(0) 推荐(0) 编辑
  2017年2月7日
摘要: 实验环境: zookeeper-3.4.6 Spark:1.6.0 简介: 本篇博客将从以下几点组织文章: 一:Spark 构建高可用HA架构 二:动手实战构建高可用HA 三:提交程序测试HA 一:Spark 构建高可用HA架构 Spark本身是Master和Slave,而这这里的 Master是指 阅读全文
posted @ 2017-02-07 16:12 junle 阅读(1547) 评论(0) 推荐(0) 编辑
摘要: [转]http://sofar.blog.51cto.com/353572/1352713 一、基础环境 1、服务器分布10.217.145.244 主名字节点10.217.145.245 备名字节点10.217.145.246 数据节点110.217.145.247 数据节点210.217.145 阅读全文
posted @ 2017-02-07 14:45 junle 阅读(279) 评论(0) 推荐(0) 编辑