码农的日常

摘要： 在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息，甚至包括点击的位置，我们也经常发现自己刚搜完一个东西，再打开网页时每个小广告都会出现与之相关联的商品或信息，在感叹智能的同时不惊想 什么时候泄露的行踪。 许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据，供离线和在线的分 阅读全文

摘要： Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Ha 阅读全文

摘要： 经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 不需要下载最新的3.0版本 阅读全文

摘要： 由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。 VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要 阅读全文

摘要： 系统操作 #使用shutdown命令马上重启系统[root@H32 ~]# shutdown –r now #使用shutdown命令马上关闭系统[root@H32 ~]# shutdown –h now #使用shutdown命令设置在15分钟以后自动重启系统[root@H32 ~]# shutd 阅读全文

摘要： 在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。 大数据什么叫大？4个特征： 体量化 Volume，就是量大。 多样化 Variety，可能是结构 阅读全文

摘要： 我们知道如果要向远程服务器传输数据和操作必须输入用户名和密码远程登录服务器 ，或用ＦＴＰ等协议，都需要权限控制。 然而如果是两台服务器间的软件需要通讯和数据传输，如hadoop集群中机器互访，是不是每次也要输入用户名和密码？那是不是很麻烦？下面介绍SSH来解决这个问题（不是JAVA中的SSH概念） 阅读全文

摘要： 今天要介绍的是消息中间件KafKa，应该说是一个很牛的中间件吧，背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ，为什么不用RabbitMQ，因为公司需要它。 网上已经有很多怎么用和用到哪的内容，但结果很多人都倒在了入门第一步 环境都搭不起来，可谓是从了解到放弃，所以在此特记录如何在lin 阅读全文

摘要： 项目中对象转json字符串时，如下：JsonSerializerSettings jsetting = new JsonSerializerSettings(); jsetting.DefaultValueHandling = DefaultValueHandling.Ignore; return 阅读全文

摘要： Windows上安装MySQL也就不讲了，基本上一路点击下一步就可完成，现在讲讲Linux上布署Mysql，虽然也有很多网友列出了详细的步骤，可能是因为版本过老的问题导致即使按照上面一步步来也还是出现不少问题，所以在此列出以作防坑指南。 至于Mysql是什么，能做什么那就不用介绍了，主要讲安装。 环 阅读全文