摘要：
数据去重，key只输出一次 scala实现：先groupByKey(),然后SortByKey(),然后输出keys
阅读全文
posted @ 2017-06-03 10:15
流浪在伯纳乌
阅读(1079)
推荐(0)
摘要：
输入n个数字，输出每一个数字以及其排名例如： 4 2 3 1 输出： 1 1 2 2 3 3 4 4 scala实现
阅读全文
posted @ 2017-06-03 10:10
流浪在伯纳乌
阅读(341)
推荐(0)
摘要：
输入n个数，返回TOP5的数字 scala实现，以各个数字为key,""为空，按照key进行排序，取出前5个
阅读全文
posted @ 2017-06-03 10:03
流浪在伯纳乌
阅读(854)
推荐(0)
摘要：
输入： 语文成绩： a 89 b 88 c 90 d 77 数学成绩: a 80 b 90 c 98 d 98 输出： a 84.5 b 89 c 94 d 87.5 Scala程序实现：按照名字分组，然后计算总成绩以及课程个数
阅读全文
posted @ 2017-06-03 09:53
流浪在伯纳乌
阅读(2543)
推荐(0)
摘要：
1 scala中的隐式转换，隐式参数与隐式类 隐式参数：使用implicit关键字标志一个值，变量或者函数参数为隐含的。 这是显示的增加参数 下面使用隐式： 标记规则：使用implicit修饰的，如 什么时候用隐式转换？ 1 当方法中的参数类型与实际的类型不一致时 隐式参数，函数可以直接得到。def
阅读全文
posted @ 2017-04-25 14:47
流浪在伯纳乌
阅读(427)
推荐(0)
摘要：
scala语言很简洁，让人看起来很舒服的感觉，例如查看字符串中是否存在大写字符， val nameHasUpper=name.exist(_.isUpperCase)一句话就解决。 例如wordcount val rdd=sc.textFile("").filter(_.split("\t")).m
阅读全文
posted @ 2017-04-25 10:20
流浪在伯纳乌
阅读(163)
推荐(0)
摘要：
存在的问题： 1 启动hive后等待资源的时间 2 根据输入文件的大小，map task 的个数是变化的，reduce始终是30，如何优化map的个数，map个数与reduce个数之间的关系比例？ Map 执行到百分之多少的时候，reduce可以进行？有个参数比例设置？ 调整map和reduce 任
阅读全文
posted @ 2017-04-11 21:12
流浪在伯纳乌
阅读(216)
推荐(0)
摘要：
#! /bin/bash #iplist=(10.130.2.20) function monitorbdcmagic(){ source /etc/profile line=`sudo lsof -i :11000| grep *:irisa | wc -l` if [[ $line -eq 1
阅读全文
posted @ 2017-04-10 19:49
流浪在伯纳乌
阅读(326)
推荐(0)
摘要：
#!/bin/bash user=roothost=bdcv29#安装rundeck，使用root用户scp rundeck-launcher-2.6.9.jar $host:/home/$user; ssh -t -p 22 $host "sudo sucd /optmkdir /opt/rund
阅读全文
posted @ 2017-04-10 19:47
流浪在伯纳乌
阅读(276)
推荐(0)
摘要：
#! /bin/bash #kill 所有kitchen 进程iplist=(10.130.2.245 ) function killkitchen(){ pid=`ps aux | grep kitchen.sh | awk '{ if ($11!=grep) {print $2;}}'| wc
阅读全文
posted @ 2017-04-10 19:46
流浪在伯纳乌
阅读(435)
推荐(0)
浙公网安备 33010602011771号