11 2017 档案

Spark远程调试参数
摘要：Spark远程调试脚本： 阅读全文
posted @ 2017-11-26 16:04 bf378 阅读(1079) 评论(0) 推荐(0)
maven 打包生成doc和源码插件
摘要：org.apache.maven.plugins maven-javadoc-plugin 2.10.4 UTF-8 true UTF-8 UTF-8 ... 阅读全文
posted @ 2017-11-24 10:30 bf378 阅读(1296) 评论(0) 推荐(0)
Spark LR逻辑回归中RDD转DF中VectorUDT设置
摘要：System.setProperty("hadoop.home.dir", "C:\\hadoop-2.7.2"); val spark = SparkSession.builder().config(new SparkConf().setAppName("LR").setMaster("local[*]")).config("spark.sql.warehouse.dir", "fil... 阅读全文
posted @ 2017-11-19 22:10 bf378 阅读(1935) 评论(0) 推荐(0)
Spark机器学习中ml和mllib中矩阵、向量
摘要：1：Spark ML与Spark MLLIB区别？ Spark MLlib是面向RDD数据抽象的编程工具类库，现在已经逐渐不再被Spark团队支持，逐渐转向Spark ML库，Spark ML是面向DataFrame编程的。 2：Spark ML与Spark MLLIB中矩阵、向量定义区别？ 这两个 阅读全文
posted @ 2017-11-19 11:24 bf378 阅读(4519) 评论(0) 推荐(0)
Spark DataSet 、DataFrame 一些使用示例
摘要：以前使用过DS和DF，最近使用Spark ML跑实验，再次用到简单复习一下。 1：DS与DF关系？ 2：加载txt数据 这种直接生成DF，df数据结构为（查询语句：df.select("*").show(5)）： 只有一列，属性为value。 3： df.printSchema() 4：case c 阅读全文
posted @ 2017-11-18 21:33 bf378 阅读(19504) 评论(0) 推荐(0)
Guava待学习内容
摘要：有时间学习一下Guava 阅读全文
posted @ 2017-11-18 18:41 bf378 阅读(208) 评论(2) 推荐(1)
开发资源索引
摘要：GitHub 上的 Awesome 系列（资源大全系列），是一个汇总了优秀工具资源的大集合，并由 GitHub 社区用户持续维护和更新。初始的版本都是英文，伯乐在线组织整理了热门资源大全的中文版。目前，中文版的资源列表在 GitHub 总计已经有超过 10K star 和 数千 fork 。以下是各 阅读全文
posted @ 2017-11-12 08:33 bf378 阅读(250) 评论(0) 推荐(0)
Actor模型和CSP模型的区别
摘要：引用至：http://www.jdon.com/concurrent/actor-csp.html Akka/Erlang的actor模型与Go语言的协程Goroutine与通道Channel代表的CSP(Communicating Sequential Processes)模型有什么区别呢？ 首先 阅读全文
posted @ 2017-11-11 09:36 bf378 阅读(519) 评论(0) 推荐(0)
如何正確的使用 Runtime.exec()
摘要：或許大部分有寫過Java程式的人都知道java.lang.Runtime這個class有一個method叫做exec()，可以被用來呼叫(調用)外部的程式。然而大部分的人都不知道這個method存在著幾個機車的小陷阱，一個不小心就會發生災難了，待我娓娓道來...這個method有幾個overload 阅读全文
posted @ 2017-11-08 19:13 bf378 阅读(9402) 评论(2) 推荐(0)