摘要:
数据去重,key只输出一次 scala实现:先groupByKey(),然后SortByKey(),然后输出keys
阅读全文
posted @ 2017-06-03 10:15
流浪在伯纳乌
阅读(1079)
推荐(0)
摘要:
输入n个数字,输出每一个数字以及其排名例如: 4 2 3 1 输出: 1 1 2 2 3 3 4 4 scala实现
阅读全文
posted @ 2017-06-03 10:10
流浪在伯纳乌
阅读(341)
推荐(0)
摘要:
输入n个数,返回TOP5的数字 scala实现,以各个数字为key,""为空,按照key进行排序,取出前5个
阅读全文
posted @ 2017-06-03 10:03
流浪在伯纳乌
阅读(854)
推荐(0)
摘要:
输入: 语文成绩: a 89 b 88 c 90 d 77 数学成绩: a 80 b 90 c 98 d 98 输出: a 84.5 b 89 c 94 d 87.5 Scala程序实现:按照名字分组,然后计算总成绩以及课程个数
阅读全文
posted @ 2017-06-03 09:53
流浪在伯纳乌
阅读(2543)
推荐(0)
摘要:
1 scala中的隐式转换,隐式参数与隐式类 隐式参数:使用implicit关键字标志一个值,变量或者函数参数为隐含的。 这是显示的增加参数 下面使用隐式: 标记规则:使用implicit修饰的,如 什么时候用隐式转换? 1 当方法中的参数类型与实际的类型不一致时 隐式参数,函数可以直接得到。def
阅读全文
posted @ 2017-04-25 14:47
流浪在伯纳乌
阅读(427)
推荐(0)
摘要:
scala语言很简洁,让人看起来很舒服的感觉,例如查看字符串中是否存在大写字符, val nameHasUpper=name.exist(_.isUpperCase)一句话就解决。 例如wordcount val rdd=sc.textFile("").filter(_.split("\t")).m
阅读全文
posted @ 2017-04-25 10:20
流浪在伯纳乌
阅读(163)
推荐(0)
摘要:
存在的问题: 1 启动hive后等待资源的时间 2 根据输入文件的大小,map task 的个数是变化的,reduce始终是30,如何优化map的个数,map个数与reduce个数之间的关系比例? Map 执行到百分之多少的时候,reduce可以进行?有个参数比例设置? 调整map和reduce 任
阅读全文
posted @ 2017-04-11 21:12
流浪在伯纳乌
阅读(216)
推荐(0)
摘要:
#! /bin/bash #iplist=(10.130.2.20) function monitorbdcmagic(){ source /etc/profile line=`sudo lsof -i :11000| grep *:irisa | wc -l` if [[ $line -eq 1
阅读全文
posted @ 2017-04-10 19:49
流浪在伯纳乌
阅读(326)
推荐(0)
摘要:
#!/bin/bash user=roothost=bdcv29#安装rundeck,使用root用户scp rundeck-launcher-2.6.9.jar $host:/home/$user; ssh -t -p 22 $host "sudo sucd /optmkdir /opt/rund
阅读全文
posted @ 2017-04-10 19:47
流浪在伯纳乌
阅读(276)
推荐(0)
摘要:
#! /bin/bash #kill 所有kitchen 进程iplist=(10.130.2.245 ) function killkitchen(){ pid=`ps aux | grep kitchen.sh | awk '{ if ($11!=grep) {print $2;}}'| wc
阅读全文
posted @ 2017-04-10 19:46
流浪在伯纳乌
阅读(435)
推荐(0)