mumuxinfei

shell 脚本实战笔记(7)--集群网络相关知识和环境搭建

摘要：前言: 对网络相关的知识, 做下笔记. 包括IP地址A/B/C的分类, 静态地址的配置/DNS配置, 以及网卡相关信息查看.*) A/B/C/D类网络地址的划分IP地址=网络地址＋主机地址或 IP地址=主机地址＋子网地址＋主机地址IPv4的地址划分, 可以分为5种类型, A/B/C/D/E类A... 阅读全文

posted @ 2014-07-08 15:41 mumuxinfei 阅读(477) 评论(0) 推荐(0)

Flume 实战(1) -- 初体验

摘要：前言: Flume-ng是数据收集/聚合/传输的组件, Flume-ng抛弃了Flume OG原本繁重的zookeeper和Master, Collector, 其整体的架构更加的简洁和明了. 其基础组件就Agent进程, 内部又可以细分为Source, Channel, Sink三个组件, S... 阅读全文

posted @ 2014-07-03 15:34 mumuxinfei 阅读(3031) 评论(0) 推荐(3)

Hive 实战(2)--hive分区分桶实战

摘要：前言: 互联网应用, 当Mysql单机遇到性能瓶颈时, 往往采用的优化策略是分库分表. 由于互联网应用普遍的弱事务性, 这种优化效果非常的显著.而Hive作为数据仓库, 当数据量达到一定数量时, 查询性能会有所下降, 那如何利用数据的特点进行优化? 分区分桶作为Hive的优化的一个有力武器.*)... 阅读全文

posted @ 2014-07-03 11:22 mumuxinfei 阅读(16481) 评论(0) 推荐(2)

Hive 实战(1)--hive数据导入/导出基础

摘要：前沿: Hive也采用类SQL的语法, 但其作为数据仓库, 与面向OLTP的传统关系型数据库(Mysql/Oracle)有着天然的差别. 它用于离线的数据计算分析, 而不追求高并发/低延时的应用场景. 最显著的特别是, Hive的数据是Schema On Read, 对数据的写入非常的自由和松散,... 阅读全文

posted @ 2014-07-02 16:14 mumuxinfei 阅读(1250) 评论(0) 推荐(1)

shell 脚本实战笔记(6)--集群环境配置检测

摘要： 1). 背景: 集群部署的时候, 需要一致的配置和环境设置. 对于虚拟机集群, 可以借助镜像拷贝, 复制和还原集群机器. 对与物理机集群而言, 则不一样, 如果机器一多, 多人去操作和配置, 对于成熟精干的团队还好, 对于不熟悉环境的小团队, 由于水平的参差不齐, 往往会导致不一致的环境. 因... 阅读全文

posted @ 2014-06-27 13:07 mumuxinfei 阅读(783) 评论(0) 推荐(1)

shell 脚本实战笔记(5)--搭建资源的镜像服务器

摘要：背景: 由于访问国外站点资源, 有时特别慢. 偶尔一次下载, 肯定还能忍受, 对于多次使用或者小团队内部使用, 搭建一个镜像站点, 无疑是个明智的决定. 这边以搭建CDH5的yum源镜像, 作为例子, 具体阐述如何借助apache2搭建一个目录镜像服务, 以及如何复制站点资源.1) 搭建apac... 阅读全文

posted @ 2014-06-26 12:35 mumuxinfei 阅读(656) 评论(0) 推荐(0)

Sqoop的使用

摘要： Sqoop官网:http://sqoop.apache.org/*) Sqoop介绍Sqoop用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。参考链接:http://blog.csdn.net/yfkis... 阅读全文

posted @ 2014-06-25 18:28 mumuxinfei 阅读(1493) 评论(0) 推荐(1)

shell 脚本实战笔记(4)--linux磁盘分区重新挂载

摘要：背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的... 阅读全文

posted @ 2014-06-24 12:20 mumuxinfei 阅读(1075) 评论(0) 推荐(0)

shell 脚本实战笔记(3)--集群机器的时间同步设置

摘要：背景: 有些分布式服务(比如HBase服务), 依赖于系统时间戳, 如果集群各个节点, 系统时间不一致, 导致服务出现诡异的情况.解决方案: 那如何同步集群各个节点之间的时间? 采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务器, 然... 阅读全文

posted @ 2014-06-23 17:29 mumuxinfei 阅读(859) 评论(0) 推荐(0)

shell 脚本实战笔记(2)--环境变量PATH的恩怨情仇

摘要：在linux环境下, 相信大家对环境变量PATH, 多多少少有所接触, 这边讲讲PATH的在linux的前世因缘. 先讲讲一个列子假如我们在为一个新的应用配置其PATH路径中时, 不小心忽略了原先的$PATH内容, 把原本的PATH=/path/to/newcmd:$PATH, 写成了PA... 阅读全文

posted @ 2014-06-16 12:32 mumuxinfei 阅读(4211) 评论(0) 推荐(0)

公告

导航