随笔分类 -  分布式系统

1 2 下一页
HBase常用命令
摘要：进入shell 表结构 1. 创建表 语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>} 创建一个User表，并且有一个info列族 3. 查看所有表 4. 查看表详情 5. 表修改 删除指定的列族 表数据 1. 插入数据 语法 阅读全文
posted @ 2017-12-15 17:01 暗痛 阅读(912) 评论(0) 推荐(0)
hbase概念
摘要：1. 概述（扯淡~） HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后，犹如醍醐灌顶，进而“山寨”出来的一套系统。 由此可见： 1. 几乎所有的HBase中的理念，都可以从BigTable论文中得到解释。原文是英语的，而且还有不少数学概念，看了有点儿懵，建议网上找找学 阅读全文
posted @ 2017-12-01 15:48 暗痛 阅读(264) 评论(0) 推荐(0)
haproxy 参数说明
摘要：说明： 1.haproxy的配置段有"global"，"defaults","listen","frontend"和"backend"等 “global”配置中的参数为进程级别的参数，且通常与其运行的操作系统有关 defaults：用于为所有其他配置段提供默认参数，这配置默认配置参数可由下一个"de 阅读全文
posted @ 2016-11-01 17:24 暗痛 阅读(3887) 评论(0) 推荐(0)
HAproxy-1.6.X 安装部署
摘要：1. 源码包下载及安装 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 root@iZ23tsilmb7Z:/usr/local/src# apt-get -y install make gcc root@iZ23tsilmb7 阅读全文
posted @ 2016-11-01 16:47 暗痛 阅读(1495) 评论(0) 推荐(0)
Kubernetes集群安全配置案例
摘要：Kubernetes 系统提供了三种认证方式：CA 认证、Token 认证 和 Base 认证。安全功能是一把双刃剑，它保护系统不被攻击，但是也带来额外的性能损耗。集群内的各组件访问 API Server 时，由于它们与 API Server 同时处于同一局域网内，所以建议用非安全的方式访问 API 阅读全文
posted @ 2016-09-30 13:56 暗痛 阅读(15786) 评论(3) 推荐(3)
etcd 命令行
摘要：比较重要的配置 -name 节点名称，默认是UUID-data-dir 保存日志和快照的目录，默认为当前工作目录-addr 公布的ip地址和端口。 默认为127.0.0.1:2379-bind-addr 用于客户端连接的监听地址，默认为-addr配置-peers 集群成员逗号分隔的列表，例如 127 阅读全文
posted @ 2016-08-10 14:19 暗痛 阅读(32150) 评论(1) 推荐(0)
etcd集群部署与遇到的坑
摘要：在k8s集群中使用了etcd作为数据中心，在实际操作中遇到了一些坑。今天记录一下，为了以后更好操作。 ETCD参数说明 —data-dir 指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定—wal-dir，还会存储WAL文件； —wal-dir 阅读全文
posted @ 2016-08-02 10:11 暗痛 阅读(78064) 评论(0) 推荐(3)
flume监控
摘要：flume提供了一个度量框架，可以通过http的方式进行展现，当启动agent的时候通过传递参数 -Dflume.monitoring.type=http参数给flume agent: 这样flume会在5653端口上启动一个HTTP服务器，访问如下地址，将返回JSON格式的flume相关指标参数: 阅读全文
posted @ 2016-07-07 11:11 暗痛 阅读(15020) 评论(6) 推荐(2)
flume 配置说明
摘要：Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达 阅读全文
posted @ 2016-06-30 14:43 暗痛 阅读(2607) 评论(0) 推荐(0)
docker1.9 network跨主机安装
摘要：背景：在跨host中，如果docker任何一个重启或者销毁，docker暴露的端口以及ip将可能重新配置，这个时候需要重新记录ip跟端口。在生产环境中往往需要一个固定的ip以及端口去跟容器通信。例如mysql跟php配置，如果在php配置里面写了mysql配置如10.0.0.1:3306如果mysq... 阅读全文
posted @ 2015-12-25 11:54 暗痛 阅读(1287) 评论(0) 推荐(0)
shipyard安装
摘要：Shipyard（github）是建立在docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本，core即shipyard主要是把多个 Docker host上的 containers 统一管理（支持跨越多个host），ext... 阅读全文
posted @ 2015-12-17 12:10 暗痛 阅读(3129) 评论(0) 推荐(0)
centos6 安装 docker
摘要：一、升级内核（带aufs模块） 1、yum安装带aufs模块的3.10内核（或到这里下载kernel手动安装：http://down.51cto.com/data/1903250）cd/etc/yum.repos.dwgethttp://www.hop5.in/yum/el6/hop5.repoyu... 阅读全文
posted @ 2015-12-15 10:36 暗痛 阅读(754) 评论(0) 推荐(0)
计划任务灾备与解决方案
摘要： 阅读全文
posted @ 2014-06-26 10:38 暗痛 阅读(139) 评论(0) 推荐(0)
在centos 下安装配置基于gitosis 的git 服务
摘要：前言　这里我用的系统是centos 6.2,在服务器上的准备工作(服务器IP为10.0.2.8 )：1、安装 openssh服务器与客户端工具[plain] view plaincopy$sudoyuminstallopenssh-serveropenssh-client2、创建个人公钥和私钥（用于... 阅读全文
posted @ 2014-04-19 17:07 暗痛 阅读(629) 评论(0) 推荐(0)
linux下rsync命令详细整理
摘要：点评：rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一详细说明，需要了解的朋友可以参考下-在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。 Rsync的命令格式可以为以下六种： rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DES... 阅读全文
posted @ 2013-08-08 15:21 暗痛 阅读(898) 评论(0) 推荐(0)
FastDFS和apache/nginx整合
摘要：因为FastDFS默认自带的http服务器性能不好，所以一般建议用外置的apache或者nginx来解决http下载，以应付大并发的情况注意nginx扩展模块只支持GET和HEAD模式获取文件，需要开发那边配合修改程序获取nginx和FastDFS的nginx扩展插件wgethttp://fastdfs-nginx-module.googlecode.com/files/fastdfs-nginx-module_v1.13.tar.gzwgethttp://nginx.org/download/nginx-1.2.6.tar.gz解压并编译安装 备注：如果之前机器上安装了nginx，可以单独. 阅读全文
posted @ 2013-08-07 11:20 暗痛 阅读(1418) 评论(0) 推荐(0)
FastDFS介绍和配置过程 二
摘要：最近在研究负载均衡和集群，其中涉及到一个主要问题是，如何让集群中的real server共享一套文件系统。在网上查到FastDFS，国人（happy fish，感谢他的开源精神）开发的一套轻量级分布式文件系统。实际搭建了一下，感觉还不错，小巧易用，支持http下载。虽然FastDFS官方网站 上已经有比较详细的按照使用手册，但在实际搭建过程中，还是遇到了很多问题，希望我的记录可以让后来的同学们少走一些弯路：）下面进入正题.FastDFS安装使用实战（安装篇）Keywords:FastDFS、分布式文件系统、UbuntuAuthor:soartju转载请注明出处:http://soartju.i 阅读全文
posted @ 2013-08-07 10:31 暗痛 阅读(459) 评论(0) 推荐(0)
FastDFS介绍和配置过程
摘要：由于网站使用nfs共享方式保存用户上传的图片，附件等资料，然后通过apache下载的方式供用户访问，在网站架构初期，使用这种简单的方式实现 了静态资源的读写分离，但随着网站数据量的增加，图片服务器渐渐成为整个网站的短板，缘次催生了使用fastfds的想法，故而先进行一番简单的测试！在 开始之前还是先来看看fastfds的介绍信息：FastDFS is an open source high performance distributed file system (DFS). It's major functions include: file storing, file syncing 阅读全文
posted @ 2013-08-07 10:25 暗痛 阅读(584) 评论(0) 推荐(0)
linux设置rsync+inotify实时同步文件
摘要：linux设置rsync+inotify实时同步文件应用场景：同步接收方：test01接收目录：/opt/software/test/a/同步发起方：test02同步目录：/opt/software/test/a/在test02的 /opt/software/test/a/ 目录下做新增、创建、删除、移动操作都会同步到test01的/opt/software/test/a/目录 www.2cto.com 第一步：安装rsync（test01和test02都要安装）yum install rsync第二步：安装inotify（同步发起方test02安装）解压inotify[root@test02 阅读全文
posted @ 2013-08-06 17:13 暗痛 阅读(1178) 评论(0) 推荐(0)
rsync 服务器架设方法
摘要：作者： 北南南北来自：Linuxsir.Org摘要： rsync 是一个快速增量文件传输工具，它可以用于在同一主机备份内部的备分，我们还可以把它作为不同主机网络备份工具之用。本文主要讲述的是如何自架rsync服务器，以实现文件传输、备份和镜像。相对tar和wget来说，rsync 也有其自身的优点，比如速度快、安全、高效；目录1. 什么是rsync； 2、rsync 服务器的理由和用途； 3、架设rsync服务器过程；3.1 rsync的安装；3.2 rsync服务器的配置文件4 架设rsync服务器的示例说明 4.1 全局定义4.2 模块定义 5 启动rsync 服务器及防火墙的设置；5.. 阅读全文
posted @ 2013-08-06 16:40 暗痛 阅读(423) 评论(0) 推荐(0)

1 2 下一页