Master HaKu

摘要： 1. Daemons(守护进程) 新老架构 老的: Apache Hadoop 1.x (MRv1) 新的: Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator 1-1) Apache Hadoop 1.x (MRv1) 包含如下后台进程 阅读全文

摘要： 1. 问题描述 我们需要将不同服务器(如Web Server)上的log4j日志传输到同一台ELK服务器，介于公司服务器资源紧张(^_^) 2. 我们需要用到filebeat 什么是filebeat? filebeat被用来ship events,即把一台服务器上的文件日志通过socket的方式，传 阅读全文

摘要： 命令行执行: open -n /Eclipse所在路径/Eclipse.app 阅读全文

摘要： 0. 背景 我们在使用ELK进行日志记录的时候，通过网址在Kibana中查看我们的应用程序(eg: Java Web)记录的日志， 但是默认是任何客户端都可以访问Kibana的, 这样就会造成很不安全，我们应该设置相应的用户名和密码， 只有通过登录用户名和密码才能通过Kibana查看我们的日志。 1 阅读全文

摘要： 我们在实际的场景中，经常是多个网站或者服务端在一台服务器上，但是如果这些应用全部 记录到一台logstash服务器，大家日志都混在一起不好区分。 有人说，我可以在日志中打项目名，但是这样并不方便。 其实，我们可以在索引上做文章。 配置如下： 从上面的代码可以看出，我们配置了2个索引app-a表示应用 阅读全文

摘要： 看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引， 殊不知，Tom White大牛虽然在书中写了程序和讲解了原理，但是他以为你们都会部署了，这里轻描淡写给 带过了，这样就给菜鸟们留了课题，其实在跑书中的程序的时候，如果没经验，还是会 阅读全文

摘要： 1. 背景介绍 在大数据时代，日志记录和管理变得尤为重要。 以往的文件记录日志的形式，既查询起来又不方便，又造成日志在服务器上分散存储，管理起来相当麻烦， 想根据一个关键字查询日志中某个关键信息相当困难。 这个时候，ELK诞生了。 什么是ELK? 简单来说：它是一套完整的日志记录和分析的解决方案平台 阅读全文

摘要： 1. 配置server.properties > cp config/server.properties config/server-1.properties> cp config/server.properties config/server-2.properties 2. 编辑server.pr 阅读全文

摘要： 前言：最近公司开始要研究大数据的消息记录，于是开始研究kafka。 市面上kafka的书很少，有的也版本比较落后，于是仗着自己英文还不错，上官网直接学习。 ^_^ 1. 开始 - 基本概念 学习一样东西，我们首先要知道它是什么。 那么kafka是什么呢？ 照官网的解释: Apache Kafka™ 阅读全文

摘要： 如题： 导致这一问题的原因：使用了重复的property-placeholder 如一个配置文件中使用了 而另一处使用了 解决： 主要从以下几个地方去解决： 1. 去掉一处的propertyConfigurer配置，替换成context:property-placeholder 2. 两处都添加ig 阅读全文