2016年1月29日
2020年将热门的8大IT职业领域
摘要： 近日，外媒梳理了未来5年内，也是就是2020年仍将受到热捧的八大科技领域，为IT从业者如何做好长远规划、有针对性地培养自身技能、又不偏离热门岗位提供了参考。（图片来自网易） 2020年将热门的8大IT职业领域 1）程序员、安全专家、云容量管理者(cloud capacity managers) 据美 阅读全文
posted @ 2016-01-29 17:00 wangzbob 阅读(701) 评论(0) 推荐(0)
2015总结+2016计划
摘要： 总结一下2015年做了什么，2016年的计划 先说一下，在2015年下半年做了什么： 1.安装部署项目环境 刚开始来，因为有一点linux的基础，所以搭建linux环境时，还比较容易。到后来，是要部署hadoop、flume、kafka、storm，就有一点捉襟见肘了，然后通过网上找资料，分析好多人 阅读全文
posted @ 2016-01-29 10:51 wangzbob 阅读(165) 评论(0) 推荐(0)
2016年1月28日
hadoop程序在本地模式调试作业
摘要： 1.首先下载cygwin，例如安装在该目录下，D:\Program Files\cygwin\ 2.copy linux上的jar包到D:\Program Files\cygwin\home\lib 下，并下载一个修改过的jar包hadoop-core-1.0.4.jar替换掉原来的jar包。 ht 阅读全文
posted @ 2016-01-28 14:54 wangzbob 阅读(233) 评论(0) 推荐(0)
2016年1月27日
Flume+Kafka+storm的连接整合
摘要： Flume-ng Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。 不过这里写写自己的见解 这个是flume的架构图 从上图可以看到 阅读全文
posted @ 2016-01-27 15:06 wangzbob 阅读(785) 评论(0) 推荐(0)
2016年1月26日
scp 和 pscp
摘要： 今天在做项目遇到了两个问题，做一些总结。1.在项目中，防火墙的的相关配置是关于cisco企业级防火墙的配置，并不是window防火墙。2.在Linux上， scp linux文件 -> linux文件 ok在Linux上， scp windows文件 -> linux文件 no在windo... 阅读全文
posted @ 2016-01-26 22:38 wangzbob 阅读(241) 评论(0) 推荐(0)
2016年1月22日
Sagan
摘要： 来自Sagan官网：https://quadrantsec.com/services_technology/product_technology/ Sagan是一个多线程的，实时的安全信息事件管理分析软件，它跟Snort很像，并且它能够使用Snort的规则，包含7500多个攻击特征，用来检测攻击。... 阅读全文
posted @ 2016-01-22 16:05 wangzbob 阅读(488) 评论(0) 推荐(0)
2016年1月20日
hadoop实战项目：查找相同字母组成的字谜
摘要： 前面我们学习了MapReduce编程思想和编程示例，那么本节课程同学们一起操练操练，动手完成下面的项目。项目需求一本英文书籍包含成千上万个单词或者短语，现在我们需要在大量的单词中，找出相同字母组成的所有anagrams(字谜)。数据集下面是一本英文书籍截取的一部分单词内容。猛戳此链接下载数据集ini... 阅读全文
posted @ 2016-01-20 16:52 wangzbob 阅读(1206) 评论(0) 推荐(0)
自己的第一个MapReduce程序
摘要： 数据源：来自互联网招聘hadoop岗位的薪资数据，其中几行示例数据如下: 美团 3-5年经验 15-30k 北京 【够牛就来】hadoop高级工程... 北信源 3-5年经验 15-20k 北京 Java高级工程师（有Hadoo... 蘑菇街 3-5年经验 10-24k 杭州 hadoop开发工程师 阅读全文
posted @ 2016-01-20 14:59 wangzbob 阅读(233) 评论(0) 推荐(0)
编写自已的第一个MapReduce程序
摘要： 从进入系统学习到现在，貌似我们还没有真正开始动手写程序，估计有些立志成为Hadoop攻城狮的小伙伴们已经有些急了。环境已经搭好，小讲也有些按捺不住了。今天，小讲就和大家一起来动手编写我们的第一个MapReduce程序。小讲曾说过，写Hadoop程序，核心就是Mapper类，Reudcer类，run(... 阅读全文
posted @ 2016-01-20 14:53 wangzbob 阅读(481) 评论(0) 推荐(0)
Hadoop程序基础模板
摘要： 分布式编程相对复杂，而Hadoop本身蒙上大数据、云计算等各种面纱，让很多初学者望而却步。可事实上，Hadoop是一个很易用的分布式编程框架，经过良好封装屏蔽了很多分布式环境下的复杂问题，因此，对普通开发者来说很容易，容易到可以照葫芦画瓢。大多数Hadoop程序的编写可以简单的依赖于一个模板及其变种... 阅读全文
posted @ 2016-01-20 11:35 wangzbob 阅读(518) 评论(0) 推荐(0)