随笔分类 -  Big data

ELK日志系统+x-pack安全验证
摘要：转自：https://www.cnblogs.com/spll/p/9829094.html ELK日志系统+x-pack安全验证 根据之前已经搭好的ELK系统，现在加一个x-pack插件上去，不然谁拿到ip和端口都可以访问elasticsearch和kibana。 要的效果如下：打开kibana界 阅读全文
posted @ 2019-03-11 18:04 呆瓜小贼66 阅读(801) 评论(0) 推荐(0)
ELK原理与介绍
摘要：转自：https://www.cnblogs.com/aresxin/p/8035137.html 为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办 阅读全文
posted @ 2019-03-11 17:53 呆瓜小贼66 阅读(361) 评论(0) 推荐(0)
Rsyslog+ELK日志分析系统
摘要：转自：https://www.cnblogs.com/itworks/p/7272740.html Rsyslog+ELK日志分析系统搭建总结1.0（测试环境） 因为工作需求，最近在搭建日志分析系统，这里主要搭建的是系统日志分析系统，即rsyslog+elk。 因为目前仍为测试环境，这里说一下搭建的 阅读全文
posted @ 2019-03-11 17:42 呆瓜小贼66 阅读(2809) 评论(0) 推荐(0)
零基础学习hadoop到上手工作线路指导（编程篇）
摘要：about云课程最新课程Cloudera课程 问题导读： 1.hadoop编程需要哪些基础？ 2.hadoop编程需要注意哪些问题？ 3.如何创建mapreduce程序及其包含几部分？ 4.如何远程连接eclipse，可能会遇到什么问题？ 5.如何编译hadoop源码？ 阅读此篇文章，需要些基础下面 阅读全文
posted @ 2019-02-14 19:28 呆瓜小贼66 阅读(351) 评论(0) 推荐(0)
零基础学习hadoop到上手工作线路指导（中级篇）
摘要：about云课程最新课程Cloudera课程 此篇是在零基础学习hadoop到上手工作线路指导（初级篇）的基础，一个继续总结。 五一假期：在写点内容，也算是总结。上面我们会了基本的编程，我们需要对hadoop有一个更深的理解： hadoop分为hadoop1.X、hadoop2.X，并且还有hado 阅读全文
posted @ 2019-02-14 19:25 呆瓜小贼66 阅读(209) 评论(0) 推荐(0)
[学习线路] 零基础学习hadoop到上手工作线路指导（初级篇）
摘要：about云课程最新课程Cloudera课程 零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，曾经想过培训，但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下，给大家参考，欢迎讨论，共同学习。 从一开始什么都不懂，到能够搭建集群，开发。整个过程， 阅读全文
posted @ 2019-02-14 19:22 呆瓜小贼66 阅读(246) 评论(0) 推荐(0)
Zookeeper学习
摘要：转自：https://www.cnblogs.com/zlslch/p/5902680.html 在hadoop生态圈里，很多地方都需zookeeper。 启动的时候，都是普通的server，但在启动过程中，通过一个特定的选举机制，选出一个leader。 只运行在一台服务器上，适合测试环境；Zook 阅读全文
posted @ 2019-02-14 12:43 呆瓜小贼66 阅读(165) 评论(0) 推荐(0)
Hadoop概念学习系列之Hadoop、Spark学习路线（很值得推荐）
摘要：转自：https://www.cnblogs.com/zlslch/p/5448857.html 不多说，直接上干货！ 说在前面的话 此笔，对于仅对于Hadoop和Spark初中学者。高手请忽略！ 1 Java基础： 视频方面： 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入， 阅读全文
posted @ 2019-02-12 19:03 呆瓜小贼66 阅读(401) 评论(0) 推荐(0)
Splunk数据处理
摘要：0.提要 本篇主要从技术层面针对Splunk Enterprise中关于数据处理的概念、过程与部件进行了概要性总结。 1.数据管理基本概念 索引（index）：Splunk用于存储事件的数据仓库； 索引服务实例（indexer）：管理Splunk索引的（软件部署）实例，同时也可能肩负数据导入处理与执 阅读全文
posted @ 2018-10-09 10:26 呆瓜小贼66 阅读(3983) 评论(0) 推荐(0)
Splunk大数据分析经验分享
摘要：转自：http://www.freebuf.com/articles/database/123006.html Splunk大数据分析经验分享：从入门到夺门而逃 Porsche 2016-12-19 共1426579人围观 ，发现 30 个不明物体 数据安全特别企划 转自：http://www.fr 阅读全文
posted @ 2018-09-11 12:20 呆瓜小贼66 阅读(15878) 评论(1) 推荐(2)
Splunk和ELK深度对比
摘要：转自：http://blog.51cto.com/splunkchina/1948105 日志处理两大生态Splunk和ELK深度对比 heijunmasd 0人评论 5312人阅读 2017-07-17 09:44:59 随着Splunk越来越被大家熟知和认可，现在市面上也不断涌各种同类产品，作为 阅读全文
posted @ 2018-09-11 12:17 呆瓜小贼66 阅读(4254) 评论(0) 推荐(0)