学无止境

摘要： Grunt教程——安装Grunt 作者：大漠 日期：2013-11-04 点击：3124 toolsgrunt在上一节《Grunt教程——初涉Grunt》一文中介绍了Grunt是什么，今天我们主要一起来学习和探讨Grunt如何安装。俗话说，巧妇难为无米之炊，要想正常的使用Grunt，首要条件你要在自己的电脑环境中具备运行Gru... 阅读全文

摘要： 用Ant实现Java项目的自动构建和部署 原文地址：http://tech.it168.com/j/2007-11-09/200711091344781.shtml 本文请勿转载！ Ant是一个Apache基金会下的跨平台的构件工具，它可以实现项目的自动构建和部署等功能。在本文中，主要让读者熟悉怎样将Ant应用到Java项目中，让它简化构建和部署操作... 阅读全文

摘要： Spark学习笔记-GraphX-1标签： SparkGraphGraphX图计算2014-09-29 13:04 2339人阅读 评论(0) 收藏 举报 分类： Spark（8） 版权声明：本文为博主原创文章，未经博主允许不得转载。 Spark GraphX是一个分布式图处理框架，Spark GraphX基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口，极大的方便了大家... 阅读全文

摘要： object SparkStreaming_StateFul { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OF... 阅读全文

摘要： SparkStream 监控文件目录时，只能监控文件内是否添加新的文件，如果文件名没有改变只是文件内容改变，那么不会检测出有文件进行了添加。object SparkStreaming_TextFile { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Level.W... 阅读全文

摘要： 伯克利大学，软件栈从上图中可以看到Storm 和 SparkStreaming 以及 HadoopMR 分属3个不同的软件栈，而对于SparkStreaming来说，它使用的是Spark的软件栈，从而能够达到内存共用，变量共享的目的，而对于Storm来说，虽然延迟要比SparkStreaming 低，然而它所产生的结果，并不能直接被其他应用栈直接使用。进而完成后续操作。因此从这里来看Spark 提... 阅读全文

摘要： 窗口查询object SparkStreaming_StateFul { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.eclipse.jetty.server").setLevel(Leve... 阅读全文

摘要： Spark Streaming性能调优详解 Spark 2015-04-28 7:43:05 7896℃ 0评论 分享到微博 下载为PDF2014 Spark亚太峰会会议资料下载、《Hadoop从入门到上手企业开发视频下载[70集]》、《炼数成金-Spark大数据平台视频百度网盘免费下载》、《Spark 1.X 大数据平台V2百度网盘下载[完整版]》、《深入浅出Hive视频教程百度网盘免... 阅读全文

摘要： 1、reduceByKeyAndWindow（_+_,Seconds(3), Seconds(2)） 可以看到我们定义的window窗口大小Seconds(3s) ，是指每2s滑动时，需要统计前3s内所有的数据。2、对于他的重载函数reduceByKeyAndWindow（_+_,_-_,Seconds(3s),seconds(2)） 设计理念是，当 滑动窗口的时间Seconds(2... 阅读全文

摘要： Fiddler (四) 实现手机的抓包Fiddler是我最喜爱的工具，几乎每天都用， 我已经用了8年了。 至今我也只学会其中大概50%的功能。 Fiddler绝对称得上是"神器"， 任何一个搞IT的人都得着的。小弟我立志， 一定要把Fiddler的所有的功能和用法都写出来。 写成一个完整系列的教程。Fiddler不但能截获各种浏览器发出的HTTP请求, 也可以截获各种智能手机发出的HTTP/HTT... 阅读全文