2015 年 4月 7 日随笔档案 - ~风轻云淡~

2015年4月7日

摘要：从 http://central.maven.org/maven2/org/mongodb/mongo-java-driver/选择一个版本进行下载，这里选择的是3.0.0版本，具体下载以下jar包：mongo-java-driver-3.0.0.jarmongo-java-driver-3.0.0... 阅读全文

posted @ 2015-04-07 22:17 ~风轻云淡~ 阅读(29744) 评论(2) 推荐(1)

Spark Streaming的编程模型

摘要： Spark Streaming的编程和Spark的编程如出一辙，对于编程的理解也非常类似。对于Spark来说，编程就是对于RDD的操作；而对于Spark Streaming来说，就是对DStream的操作。下面将通过一个大家熟悉的WordCount的例子来说明Spark Streaming中的输入操... 阅读全文

posted @ 2015-04-07 20:32 ~风轻云淡~ 阅读(1228) 评论(0) 推荐(0)

使用java api操作HDFS文件

摘要：实现的代码如下： 1 import java.io.IOException; 2 import java.net.URI; 3 import java.net.URISyntaxException; 4 5 import org.a... 阅读全文

posted @ 2015-04-07 19:47 ~风轻云淡~ 阅读(5083) 评论(0) 推荐(0)

学习MongoDB-应用举例（利用java操作MongoDB）

摘要： Java驱动程序是MongoDB最早的驱动，已用于生产环境很长时间，十分稳定。可以到MongoDB官方网站下载驱动，驱动版本为2.9.0。这个jar文件中，有两个包，我们会经常用到com.mongodb 和 com.mongodb.gridfs 。在Java中操作MongoDB，各种概念和shell... 阅读全文

posted @ 2015-04-07 19:09 ~风轻云淡~ 阅读(15498) 评论(0) 推荐(2)

用SBT编译Spark的WordCount程序

摘要：问题导读：1.什么是sbt？2.sbt项目环境如何建立？3.如何使用sbt编译打包scala?sbt介绍sbt是一个代码编译工具，是scala界的mvn，可以编译scala，java等，需要java1.6以上。sbt项目环境建立sbt编译需要固定的目录格式，并且需要联网，sbt会将依赖的jar包下载... 阅读全文

posted @ 2015-04-07 14:30 ~风轻云淡~ 阅读(5317) 评论(0) 推荐(0)

公告