01 2021 档案

git拉取文件
摘要：git clone http:cd qiaotouch README.mdgit add README.mdgit commit -m "add README"git push -u origin master 阅读全文

posted @ 2021-01-27 15:00 happygril3 阅读(141) 评论(0) 推荐(0)

spark部署到Yarn
摘要：1.修改hadoop配置文件yarn-site.xml<!-- 物理内存 --><property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value></property><!-- 虚拟内存 --><prope 阅读全文

posted @ 2021-01-07 16:30 happygril3 阅读(162) 评论(0) 推荐(0)

mysql
摘要：1.将mysql压缩包拷贝到/usr/local/目录下:cd /usr/localrz mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz 2. 解压,并重命名tar -zxvf mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz 阅读全文

posted @ 2021-01-07 14:13 happygril3 阅读(72) 评论(0) 推荐(0)

foldLeft
摘要：Scala语言中，foldLeft函数的三个使用场景： 列表内数值的相加，作用相当于sum; List(1,7,2,9).foldLeft(0)(_-_) （1）List从左开始 （2）结果在左面 0-1 (0-1)-7 ((0-1)-7)-2 (((0-1)-7)-2)-9 List(1,7,2, 阅读全文

posted @ 2021-01-05 09:11 happygril3 阅读(151) 评论(0) 推荐(0)

自定义sort
摘要：package spark2021 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD object Ordered_Test { def main(args: Array[String] 阅读全文

posted @ 2021-01-04 19:02 happygril3 阅读(78) 评论(0) 推荐(0)

yield
摘要：scala中的for循环有个独有的特性，他是有返回值的。这个与java不同 针对每一次 for 循环的迭代, yield 会产生一个值，被循环记录下来 (内部实现上，像是一个缓冲区). 当循环结束后, 会返回所有 yield 的值组成的集合.返回集合的类型与被遍历的集合类型是一致的. package 阅读全文

posted @ 2021-01-04 15:33 happygril3 阅读(146) 评论(0) 推荐(0)

sort
摘要：sorted：适合单集合的升降序 sortBy：适合对单个或多个属性的排序，代码量比较少，推荐使用这种 sortWith：适合定制化场景比较高的排序规则，比较灵活，也能支持单个或多个属性的排序，但代码量稍多，内部实际是通过java里面的Comparator接口来完成排序的。 package spar 阅读全文

posted @ 2021-01-04 15:02 happygril3 阅读(197) 评论(0) 推荐(0)

导航