小怪兽的技术博客

摘要： 简介： ELK Stack 安装文档，这次都使用最新版本(5.2.2)、RPM 包的方式搭建 ELK Stack。 下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.rpm https://a 阅读全文

摘要： 简介： Apache HBase 是一个分布式的、面向列的开源 NoSQL 数据库。具有高性能、高可靠性、可伸缩、面向列、分布式存储的特性。 HBase 的数据文件最终落地在 HDFS 之上，所以在 Hadoop 集群中，DataNode 节点都需安装 HBase Worker Node。 另外，H 阅读全文

摘要： 简介： Apache Sqoop 是一种用于 Apache Hadoop 与关系型数据库之间结构化、非结构化数据转换的工具。 一、安装 MySQL、导入测试数据 1、文档链接：http://www.cnblogs.com/wangxiaoqiangs/p/5336048.html 2、导入测试数据 阅读全文

摘要： 简介： Zabbix 监控 Cisco ASA5525 网络接口流量 一、Zabbix 支持 SNMP、Cisco 开启 SNMP 二、测试 # -v 指定版本，-c 指定共同体名，IP，指令 # IF-MIB::ifDescr 接口名称# IF-MIB::ifType 类型# IF-MIB::if 阅读全文

摘要： 简介： YARN 多租户资源池配置 当多用户同在一个 hadoop 集群作业时，就需要对资源进行有效的限制，例如区分测试、正式资源等 一、查看默认资源池 # 访问：http://192.168.1.25:8088/cluster/scheduler 即 master.hadoop # 可以看到默认的 阅读全文

摘要： 简介： HDFS High Availability Using the Quorum Journal Manager Hadoop 2.x 中，HDFS 组件有三个角色：NameNode、DataNode、Secondary NameNode 1、NameNode 保存着 HDFS 的元数据信息， 阅读全文

摘要： 简介： MySQL 触发器 这次实验是在一台 MySQL Slave 上进行的，事实证明：从库添加数据库、表、插入、删除数据等，不会导致主从失败。 一、创建实验数据库、表 # 表一：t_film 为业务数据表，执行 INSERT、UPDATE、DELETE 操作# 表二：t_tr 为触发器程序体数据 阅读全文

摘要： 简介： Apache ZooKeeper 是一个分布式应用的高性能协调服务，功能包括：配置维护、统一命名、状态同步、集群管理、仲裁选举等。 下载地址：http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 阅读全文

摘要： 简介： 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中，flume 的职责是收集数据，一般用作收集各种日志数据。 Source -> Channel -> Sink 这是一 阅读全文

摘要： 故障描述： 今天突然接到报警，一台服务器无法连通，无法登录、无法 ping 通。 打电话到 IDC ，授权工程师查看服务器状态，返回结果如下： 1、服务器关机状态 2、无法开机 ( 电源灯亮 )，按开机键没反应。 3、尝试拔掉电源，等待几分钟后再次开机，结果还是不行。 这是一台宿主机，上面开了 5 阅读全文

摘要： 简介： Apache hive 是基于 Hadoop 的一个开源的数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，将 SQL 语句转换为 MapReduce 任务执行。 Apache hive 数据库仓库工具管理着两类数据：MetaData ( 这里我们存储在远 阅读全文

摘要： 简介： Apache Hadoop 集群安装文档 软件：jdk-8u111-linux-x64.rpm、hadoop-2.8.0.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.t 阅读全文

摘要： 简介： Cloudera Manager 是 Cloudera 公司推出的 Hadoop 集群管理工具，通过该管理工具可以方便的部署、配置、监控集群。 Cloudera 公司自己发布的 Hadoop 版本叫 CDH，全称 Cloudera Distribution Hadoop。 环境介绍： 192 阅读全文

摘要： 问题描述： 最近学习 hadoop，环境准备搭建在虚拟机之上，装好一台虚拟机克隆完成后，网卡无法启动。 多年前，初学 Linux 的时候，就遇到过这个问题，记录的笔记找不到了，简单记录一下。 解决方法： # 把最后的 eth1 改为 eth0，然后将 mac 地址：00:0c:29:5b:13:08 阅读全文

摘要： 简介： Elasticsearch 2.4.1 安装 bigdesk bigdesk 是一个 ES 集群监控工具，可以检测到集群状态、各节点信息，包括 JVM、Thread Pools、OS、Process、Indices 等信息 对性能优化有一定帮助 1、本来这样安装 或者 但是，bigdesk 阅读全文

摘要： 问题描述： 收到监控报警，某台服务器根分区磁盘使用率达到 80% 故障排查： 上线查看，根分区只安装软件，一般生成的数据都在别的分区中，挂载到单独的磁盘 经过排查 du -sh，锁定占据磁盘空间的目录为 /var/spool/postfix/maildrop/，占用空间 27G 查资料显示，该文件夹 阅读全文

摘要： 简介： 除了一些免费的 API 接口，例如 http://ipinfo.io/223.155.166.172 可以得到一些信息外，还可以通过 python-geoip 库来解决这个问题。 示例： 1、安装 python-geoip、python-geoip-geolite2 # -i 使用豆瓣源 2 阅读全文

摘要： 简介: 记录一下 Python 如何获取昨天、今天、明天时间及格式化。 1、今天 2、昨天 3、明天 阅读全文

摘要： 简介： 今天来研究一下 Nginx 的两种认证方式。 1、auth_basic 本机认证 2、ngx_http_auth_request_module 第三方认证 一、安装 Nginx 二、auth_basic 本机认证 # 这样就实现了本机认证，需要维护 pass.db 文件 三、ngx_http 阅读全文

摘要： 简介: 自己搭建 Git 仓库，实现 SSH 协议、配合 Nginx 实现 HTTP 协议拉取、推送代码。 利用 Nginx 实现 Gitweb 在线浏览代码，使用 Gitweb-theme 更新默认 Gitweb 样式。 一、安装 Git 二、Git SSH 协议 1、创建 Git 仓库 2、客户 阅读全文