摘要：
CREATE DEFINER PROCEDURE `updaterole_20171127`()beginDROP TEMPORARY TABLE IF EXISTS tmppassword;create temporary table if not exists tmppassword ( tab 阅读全文
posted @ 2017-11-30 11:15 打杂滴 阅读(160) 评论(0) 推荐(0)
2017年11月30日
摘要：
LOAD DATA INFILE 'D:\GX\\mm.txt' REPLACE INTO TABLE mm FIELDS TERMINATED BY ' ' // 以空格为分隔符插入数据，前提是mm.txt字段顺序要和表mm字段顺序一致，Navicat测试通过 阅读全文
posted @ 2017-11-30 11:09 打杂滴 阅读(249) 评论(0) 推荐(0)
2017年11月24日
摘要：
Scala是一门多范式的编程语言，一种类似java的编程语言[1] ，设计初衷是实现可伸缩的语言[2] 、并集成面向对象编程和函数式编程的各种特性。 Scala 具有很完整又很强大的集合处理能力。Scala拥有庞大而完整的集合类库，比如Set, List, Vector, Tuple, Map，而有 阅读全文
posted @ 2017-11-24 15:19 打杂滴 阅读(528) 评论(0) 推荐(0)
2017年11月16日
摘要：
DateFrame 早期叫作SchemaRDD是存放Row 对象的RDD，每个Row 对象代表一行记录。 SchemaRDD 还包含记录的结构信息（即数据字段）。SchemaRDD 看起来和普通的RDD 很像， 但是在内部，SchemaRDD 可以利用结构信息更加高效地存储数据。 此外，Schema 阅读全文
posted @ 2017-11-16 17:36 打杂滴 阅读(570) 评论(0) 推荐(0)
2017年11月13日
摘要：
Overview Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data s 阅读全文
posted @ 2017-11-13 10:55 打杂滴 阅读(224) 评论(0) 推荐(0)
2017年11月9日
摘要：
scala> val text=spark.read.textFile("/tmp/20171024/tian.txt")text: org.apache.spark.sql.Dataset[String] = [value: string] scala> text.countres0: Long 阅读全文
posted @ 2017-11-09 18:03 打杂滴 阅读(186) 评论(0) 推荐(0)
2017年11月8日
摘要：
2017-11-09注释：IntelliJ IDEA 2017.2.5 x64 等新版本会安装maven，为了有好的体验 建议在安装目录找到IntelliJ IDEA 2017.2.5\plugins\maven\lib\maven3\conf目录设置 <localRepository>D:\合适的 阅读全文
posted @ 2017-11-08 10:51 打杂滴 阅读(239) 评论(0) 推荐(0)
2017年11月7日
摘要：
http://spark.apache.org/docs/latest/rdd-programming-guide.html The first thing a Spark program must do is to create a SparkContext object, which tells 阅读全文
posted @ 2017-11-07 17:47 打杂滴 阅读(168) 评论(0) 推荐(0)
2017年11月6日
摘要：
RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。在这些操作中，诸如map、flatMap、filter等转换操作实现了monad模 阅读全文
posted @ 2017-11-06 14:32 打杂滴 阅读(466) 评论(0) 推荐(0)
摘要：
1.下载 wget https://github.com/sbt/sbt/releases/download/v0.13.15/sbt-0.13.15.tgz 2.安装 tar -zxvf sbt-0.13.15.tgz -C /root/scala/sbt 3.在/root/scala/sbt目录 阅读全文
posted @ 2017-11-06 11:57 打杂滴 阅读(1419) 评论(0) 推荐(0)
浙公网安备 33010602011771号