mumuxinfei

Kafka实战系列--Kafka的安装/配置

摘要： *) 安装和测试cd /path/to/server#) 下载kafka二进制包wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz#) 解压缩kafka包tar -zxvf kafka_2.... 阅读全文

posted @ 2014-07-22 10:22 mumuxinfei 阅读(1226) 评论(0) 推荐(0)

移动互联网实战--移动端音频和图形优化处理

摘要：前言: 移动端应用, 需要省电省流量(带宽), 大资源包对用户体验是有伤害的. 因此移动端开发需要精简资源(音频/图片), 但又要保证音频/图片质量. 本文着重讲述如何优化处理资源(音频/图片), 如何在高压缩比和高质量(音质/画质)之间进行折中和权衡. 本文涉及两大块, 一块为语音处理, 另一块... 阅读全文

posted @ 2014-07-21 16:42 mumuxinfei 阅读(2274) 评论(3) 推荐(5)

shell 脚本实战笔记(11)--Mysql在linux下的安装和简单运维

摘要：前言: linux中安装mysql以及配置的管理, 基础的运维和管理还是需要会一些的. 这边作下笔记, 以求天天向上(^_^).安装流程:*). 安装mysql-server1). 借助yum检索相关的mysql rpm包yum search mysqlmysql-server.x86_64 正... 阅读全文

posted @ 2014-07-19 13:06 mumuxinfei 阅读(665) 评论(0) 推荐(0)

Spark 个人实战系列(2)--Spark 服务脚本分析

摘要：前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w... 阅读全文

posted @ 2014-07-17 16:20 mumuxinfei 阅读(1541) 评论(0) 推荐(0)

shell 脚本实战笔记(10)--spark集群脚本片段念念碎

摘要：前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录sbin=`dirname "$0"` sbin=`cd "$sbin"; pwd`代码评注:# 以上代码为获取执行脚本所在的目录的常用技巧# sbin=$(dirname $0) ... 阅读全文

posted @ 2014-07-17 12:40 mumuxinfei 阅读(750) 评论(0) 推荐(0)

Spark 个人实战系列(1)--Spark 集群安装

摘要：前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析.spark官网: http://spark.apache.org/downloads.html*)安装... 阅读全文

posted @ 2014-07-16 14:46 mumuxinfei 阅读(744) 评论(0) 推荐(0)

HBase 实战(1)--HBase的数据导入方式

摘要：前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkload, 以及Hive Over ... 阅读全文

posted @ 2014-07-14 13:02 mumuxinfei 阅读(9570) 评论(3) 推荐(4)

shell 脚本实战笔记(9)--linux自动批量添加用户

摘要：前言: 添加linux用户帐号,这个相对简单, 在面对集群, 许多机器的时候, 我们该如何去做和实现? 这篇短文, 简单讲解一些思路, 尽可能地涉及周边的一些知识点. 不光是运维人员会面临这个问题, 对一个基于linux平台的集群服务或软件(比如hadoop集群), 有时也会涉及到这块.应用场景:... 阅读全文

posted @ 2014-07-10 15:02 mumuxinfei 阅读(2428) 评论(0) 推荐(4)

shell 脚本实战笔记(8)--ssh免密码输入执行命令

摘要：前言: ssh命令, 没有指定密码的参数. 以至于在脚本中使用ssh命令的时候, 必须手动输入密码, 才能继续执行. 这样使得脚本的自动化执行变得很差, 尤其当ssh对应的机器数很多的时候, 会令人抓狂.本文讲解了两种方式, 一种借助expect脚本, 一种借助sshpass来实现.*) 借助e... 阅读全文

posted @ 2014-07-09 17:53 mumuxinfei 阅读(11348) 评论(5) 推荐(4)

Flume 实战(2)--Flume-ng-sdk源码分析

摘要：具体参考: 官方用户手册和开发指南http://flume.apache.org/FlumeDeveloperGuide.html*) 定位和简单例子1). Flume-ng-sdk是用于编写往flume agent发送数据的client sdk2). 简单示例RpcClient client = ... 阅读全文

posted @ 2014-07-09 11:36 mumuxinfei 阅读(1912) 评论(0) 推荐(2)

公告

导航