摘要：版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=287 排版乱？请移步原文获得更好的阅读体验 1.基础特性 scala中的包和java中的包类似，都是用来在大型工程中给类限定一个命名空间。有如下特性： （1）包可以像内部类那样嵌套 （2）包路径不是绝对路径。 （3）包声明链net.bigdataer.blog并不会自动将中间包net和bigdataer... 阅读全文

摘要：排版乱？请移步原文获得更好的阅读体验 1.单例对象 scala中没有静态类或者静态方法，都是通过object实现的，它表示某个类的单例对象。如object People是class People的单例对象。 2.伴生对象 java中有些类可能会既有静态方法又有实例方法，在scala中静态方法存在于对象中，也就意味中scala中需要有这么一个东西，它既是类，也含有对象。其中的对象就是类的伴生对象... 阅读全文

摘要：版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=269 排版乱？请移步原文获得更好的阅读体验 1.针对不同字段生成的方法 字段生成的方法备注 var/val name公有的name和name_=方法（仅var）可以被公开访问 @BeanProperty val/var name公有的name,getName(),name_(仅var)，setName(... 阅读全文

摘要：版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=266 背景 nginx是一款非常优秀的网络代理工具，但是其日志管理有点缺憾：nginx的access_log会无限的增长。我们希望的是它能按照日期去做日志分割。一般有两种方法，自己写脚本实现，一种是使用现成的lo 阅读全文

摘要：> **版权申明：转载请注明出处。**> **文章来源：http://bigdataer.net/?p=239** ### 1.关于我本人现在北京某大型互联网公司高级数据开发工程师一枚，三年工作经验，一年多面试官经验。### 2.为啥要写这篇文章？面试中经常会遇到这种情况：之前专心写web的Java码农突然转型想做大数据了，然后写几个大数据的项目经验跑来面试，结果就是一问三不知，还有好多人只是搭了... 阅读全文

摘要：版权申明：转载请注明出处。文章来源：bigdataer.net 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实时监测系统异常，实时监测来自于外部的攻击。针对这些场景，twitter研发了实时数据处理工具storm，并在后来开源。spark针对这些场景设计了spark-streaming实时计算模型，它允许用户使用一系列批处理的API... 阅读全文

摘要：1.为什么要写这篇文章？ 一是因为经常逛知乎，发现好些知乎大神的签名上都放的自己的微信公众号，但是关注之后就回一句简单的谢谢关注之类的话，缺乏互动性。二来是之前网盘共享了一堆本科生的毕设，为了防止别有用心的人拿去卖，加了密码，想要获取密码的话得加我微信验证。最近好多人都来加微信求密码，实在忙不过来，于是就想到了搞一个微信公众号的聊天机器人。于是乎借着周末的时间搞了一个能自动回复密码的机器人儿，但是... 阅读全文

摘要：版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=248 排版乱？请移步原文获得更好的阅读体验 数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力，所以一个好的数据监控系统或者一个合理的数据监控方 阅读全文