摘要：
题目描述 在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的，但不知道有几个数字是重复的。 也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。 解题思路 遍历数组的 阅读全文
posted @ 2019-08-23 09:15
Transkai
阅读(97)
评论(0)
推荐(0)
摘要：
题目描述 将一个字符串转换成一个整数(实现Integer.valueOf(string)的功能，但是string不符合数字要求时返回0)，要求不能使用字符串转换整数的库函数。 数值为0或者字符串不是一个合法的数值则返回0。 输入描述: 输入一个字符串,包括数字字母符号,可以为空 输出描述: 如果是合 阅读全文
posted @ 2019-08-22 10:11
Transkai
阅读(148)
评论(0)
推荐(0)
摘要：
性能调优 (1)数据接收并行度调优（一） 通过网络接收数据时（比如Kafka、Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收称为系统的瓶颈，那么可以考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上启动一个Receiver，该Receiv 阅读全文
posted @ 2019-08-21 17:46
Transkai
阅读(853)
评论(0)
推荐(0)
摘要：
一.容错机制以及事务语义详解 (1)容错机制的背景 要理解Spark Streaming提供的容错机制，先回忆一下Spark RDD的基础容错语义： 1、RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的 阅读全文
posted @ 2019-08-21 17:42
Transkai
阅读(441)
评论(0)
推荐(0)
摘要：
一.缓存与持久化机制 与RDD类似，Spark Streaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。对DStream调用persist()方法，就可以让Spark Streaming自动将该数据流中的所有产生的RDD，都持久化到内存中。如果要对一个DStream多次执行操作， 阅读全文
posted @ 2019-08-21 15:36
Transkai
阅读(1057)
评论(0)
推荐(0)
摘要：
题目描述 写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。 解题思路 两个数异或：相当于每一位相加，而不考虑进位； 两个数相与，并左移一位：相当于求得进位； 将上述两步的结果相加 代码如下 public int Add(int num1,int num2) { whil 阅读全文
posted @ 2019-08-21 10:09
Transkai
阅读(168)
评论(0)
推荐(0)
摘要：
题目描述 求1+2+3+...+n，要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句（A?B:C）。 解题思路一 1.需利用逻辑与的短路特性实现递归终止。 2.当n==0时，(n>0)&&((sum+=Sum_Solution(n-1))>0)只执 阅读全文
posted @ 2019-08-21 09:52
Transkai
阅读(151)
评论(0)
推荐(0)
摘要：
题目描述 每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱首歌,然后可以在礼品箱中任 阅读全文
posted @ 2019-08-21 09:25
Transkai
阅读(180)
评论(0)
推荐(0)
摘要：
一.DStream的output操作以及foreachRDD详解 1.output操作概览 2.output操作 DStream中的所有计算，都是由output操作触发的，比如print()。如果没有任何output操作，那么，压根儿就不会执行定义的计算逻辑。 此外，即使你使用了foreachRDD 阅读全文
posted @ 2019-08-20 21:20
Transkai
阅读(629)
评论(0)
推荐(0)
摘要：
一.transform以及广告计费日志实时黑名单过滤案例实战 transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStream API中所没有提供的操作。比如说，DStream API中，并没有提供将一个DStream中的每个batch，与 阅读全文
posted @ 2019-08-20 20:31
Transkai
阅读(483)
评论(0)
推荐(0)
摘要：
一.StreamingContext详解 有两种创建StreamingContext的方式： val conf = new SparkConf().setAppName(appName).setMaster(master);val ssc = new StreamingContext(conf, S 阅读全文
posted @ 2019-08-20 15:27
Transkai
阅读(565)
评论(0)
推荐(0)
摘要：
题目描述 LL今天心情特别好,因为他去买了一副扑克牌,发现里面居然有2个大王,2个小王(一副牌原本是54张^_^)...他随机从中抽出了5张牌,想测测自己的手气,看看能不能抽到顺子,如果抽到的话,他决定去买体育彩票,嘿嘿！！“红心A,黑桃3,小王,大王,方片5”,“Oh My God!”不是顺子.. 阅读全文
posted @ 2019-08-20 09:53
Transkai
阅读(151)
评论(0)
推荐(0)
摘要：
题目描述 牛客最近来了一个新员工Fish，每天早晨总是会拿着一本英文杂志，写些句子在本子上。 同事Cat对Fish写的内容颇感兴趣，有一天他向Fish借来翻看，但却读不懂它的意思。 例如，“student. a am I”。后来才意识到，这家伙原来把句子单词的顺序翻转了，正确的句子应该是“I am 阅读全文
posted @ 2019-08-20 09:48
Transkai
阅读(112)
评论(0)
推荐(0)
摘要：
Spark Streaming简介 Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的组件或者叫做概念，其实还是最核心的RD 阅读全文
posted @ 2019-08-19 15:27
Transkai
阅读(1003)
评论(0)
推荐(0)
摘要：
题目描述 汇编语言中有一种移位指令叫做循环左移（ROL），现在有个简单的任务，就是用字符串模拟这个指令的运算结果。对于一个给定的字符序列S，请你把其循环左移K位后的序列输出。例如，字符序列S=”abcXYZdef”,要求输出循环左移3位后的结果，即“XYZdefabc”。是不是很简单？OK，搞定它！ 阅读全文
posted @ 2019-08-19 10:09
Transkai
阅读(119)
评论(0)
推荐(0)
浙公网安备 33010602011771号