踏歌行666 - 博客园

kafka_2.11-2.0.0_介绍

摘要： 1. JMS是什么 1.1. JMS的基础 JMS是什么：JMS是Java提供的一套技术规范 JMS干什么用：用来异构系统集成通信，缓解系统瓶颈，提高系统的伸缩性增强系统用户体验，使得系统模块化和组件化变得可行并更加灵活通过什么方式：生产消费者模式（生产者、服务器、消费者） 1.2. JMS消息阅读全文

posted @ 2018-09-23 10:52 踏歌行666 阅读(1353) 评论(0) 推荐(0)

ELK-elkstack-使用消息队列

摘要：日志通过logstash收集到redis，之后从logstash从redis读取数据存入到ES 1. logstash使用redis测试通过标准输入到redis中 logstash配置与启动 redis查看 2. httpd日志收集到redis中 logstash配置与启动使用谷歌、火狐或者IE 阅读全文

posted @ 2018-09-08 17:33 踏歌行666 阅读(954) 评论(0) 推荐(0)

ELK-logstash-6.3.2-常用配置

摘要： 1. input-file收集日志信息 1.1. 浏览器访问 2. input-if判断【日志多点收集】为了方便，我把logstatsh部署到了mini03上本节作用：收集java日志【日志收集得有些缺陷，不方便查看，需要改进配置】浏览器访问缺点： java应用的日志有报错等，这样直接收集那阅读全文

posted @ 2018-09-08 14:45 踏歌行666 阅读(1591) 评论(0) 推荐(0)

ELK-logstash-6.3.2部署

摘要： Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。 1. logstash部署 2. 基本测试 3. 使用配置文件 3.1. 浏览器访问阅读全文

posted @ 2018-09-08 11:40 踏歌行666 阅读(851) 评论(0) 推荐(0)

ELK-kibana-6.3.2部署

摘要： 1. 生产实践 2. kibana部署 2.1. 软件部署 2.2. 配置修改 2.3. 启动与访问浏览器访问 3. 看板查看可以通过visualize 制作图形，然后放到dashboard中。示例如下：阅读全文

posted @ 2018-09-08 11:01 踏歌行666 阅读(550) 评论(0) 推荐(0)

ELK-elasticsearch-6.3.2插件【head,bigdesk,cerebro[kopf]】安装

摘要：参考博客：linux下ElasticSearch.6.2.2集群安装与head、Kibana、X-Pack..插件的配置安装参考博客：ELK5.5.1 插件安装实践纪要（head/bigdesk/kopf/cerebo/中文分词插件） 1. x-pack 【该版本默认安装】 2. mobz/ela 阅读全文

posted @ 2018-09-08 10:48 踏歌行666 阅读(3775) 评论(0) 推荐(0)

ELK-elasticsearch-6.3.2部署

摘要：参考博客：linux下ElasticSearch.6.2.2集群安装与head、Kibana、X-Pack..插件的配置安装参考博客：ELK5.5.1 插件安装实践纪要（head/bigdesk/kopf/cerebo/中文分词插件）参考博客：ELK构建MySQL慢日志收集平台详解参考博客：针阅读全文

posted @ 2018-09-08 10:27 踏歌行666 阅读(2122) 评论(0) 推荐(0)

Hbase-2.0.0_04_Hbase原理

摘要：参考博客：Hadoop HBase概念学习系列参考博客：Hadoop HBase概念学习系列之HBase里的Zookeeper（二十一）参考博客：Hadoop HBase概念学习系列之HBase里的客户端和HBase集群建立连接（详细）（十四）参考博客：Hadoop HBase概念学习系列之M 阅读全文

posted @ 2018-08-20 16:14 踏歌行666 阅读(673) 评论(0) 推荐(0)

Hbase-2.0.0_03_Hbase数据模型

摘要： 1. hbase数据模型 1.1. HBase数据模型术语 Table HBase表由多行组成。 Row HBase中的一行由一个行键和一个或多个列组成，列的值与这些列相关联。存储行时，按行键按字母顺序排列。因此，行键的设计非常重要。目标是以这样一种方式存储数据，即相关的行彼此接近。常见的行键模式是阅读全文

posted @ 2018-08-20 15:54 踏歌行666 阅读(801) 评论(0) 推荐(0)

Hbase-2.0.0_02_常用操作

摘要：主要是常用的hbase shell命令，包括表的创建与删除，表数据的增删查【hbase没有修改】；以及hbase的导出与导入。参考教程：HBase教程参考博客：hbase shell基础和常用命令详解参考博客：hbase shell常用命令和filter 参考博客：hbase导入导出数据 1. 阅读全文

posted @ 2018-08-19 17:59 踏歌行666 阅读(687) 评论(0) 推荐(0)

Hbase-2.0.0_01_安装部署

摘要：该文章是基于 Hadoop2.7.6_01_部署进行的 1. 主机规划主机名称 IP信息内网IP 操作系统安装软件备注：运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMai 阅读全文

posted @ 2018-08-17 08:21 踏歌行666 阅读(1838) 评论(0) 推荐(0)

Sqoop-1.4.7-部署与常见案例

摘要：该文章是基于 Hadoop2.7.6_01_部署、 Hive-1.2.1_01_安装部署进行的 1. 前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态阅读全文

posted @ 2018-08-05 22:14 踏歌行666 阅读(2177) 评论(0) 推荐(0)

Azkaban-2.5.0-部署与常见案例

摘要：该文章是基于 Hadoop2.7.6_01_部署、 Hive-1.2.1_01_安装部署进行的 1. 前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态阅读全文

posted @ 2018-08-03 17:32 踏歌行666 阅读(1435) 评论(0) 推荐(0)

Flume-1.8.0_部署与常用案例

摘要：该文章是基于 Hadoop2.7.6_01_部署进行的 Flume官方文档：FlumeUserGuide 常见问题：记flume部署过程中遇到的问题以及解决方法（持续更新） 1. 前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、阅读全文

posted @ 2018-08-01 19:30 踏歌行666 阅读(835) 评论(0) 推荐(0)

Hive-1.2.1_06_累计报表查询

摘要： 1. 数据准备 2. 用户一个月总金额 3. 将月总金额表自己连接自己连接 4. 累计报表 4.1. 类似数据在MySQL数据库查询 4.2. Hive中运行阅读全文

posted @ 2018-07-22 14:46 踏歌行666 阅读(610) 评论(0) 推荐(0)

Hive-1.2.1_05_案例操作

摘要： 1. 建库建表 2. 数据准备相关数据数据导入 3. 常用操作 3.1. 学生表基本查询查询学号为95001, 95005, 95008的学生信息查询学号中有9500字符串的学生信息查询全体学生的学号与姓名查询学生的总人数 3.2. 成绩表相关查询查询选修了课程的学生姓名计算1号课程阅读全文

posted @ 2018-07-22 14:20 踏歌行666 阅读(492) 评论(0) 推荐(1)

Hive-1.2.1_04_DML操作

摘要： Hive官方文档：Home-UserDocumentation Hive DML官方文档：LanguageManual DML 参考文章：Hive 用户指南 1. Loading files into tables 当我们做Load操作是，hive不会做任何数据转换，只是纯复制/移动操作，将数据文件阅读全文

posted @ 2018-07-22 11:19 踏歌行666 阅读(364) 评论(0) 推荐(0)

Hive-1.2.1_03_DDL操作

摘要： Hive官方文档：Home-UserDocumentation Hive DDL官方文档：LanguageManual DDL 参考文章：Hive 用户指南注意：各个语句的版本时间，有的是在 hive-1.2.1 之后才有的，这些语句我们在hive-1.2.1中是不能使用的。注意：本文写的都是常阅读全文

posted @ 2018-07-22 09:23 踏歌行666 阅读(835) 评论(0) 推荐(0)

Hive-1.2.1_02_简单操作与访问方式

摘要： 1. Hive默认显示当前使用库 2. 创建库浏览器访问 3. 创建表浏览器访问 4. 创建数据并上传 5. Hive查询数据 MapReduce信息 6. Hive的访问方式 6.1. Hive交互shell 6.2. Hive thrift服务启动方式，（例如是在mini01上）：启动成阅读全文

posted @ 2018-07-22 08:30 踏歌行666 阅读(828) 评论(0) 推荐(0)

Hive-1.2.1_01_安装部署

摘要：前言：该文章是基于 Hadoop2.7.6_01_部署进行的。 1. Hive基本概念 1.1. 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.2. 为什么使用Hive 直接使用hadoop所面临的问题人员学阅读全文

posted @ 2018-07-22 08:01 踏歌行666 阅读(1790) 评论(0) 推荐(0)

踏歌行的专栏