摘要： 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 解决方案：首先是将这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP 阅读全文

摘要： 实现代码如上，因为Statistics.corr（RDD[Double],RDD[Double]）,所以SparkSQL读取后的数据生成的dataFrame必须转换，第一步是转换成RDD[Row],Row就相当于sql查询出来的一条数据，这里也转换过多次才成功，最后百度得到可以先.cast(Doub 阅读全文

摘要： 问安总一个问题，“怎么样结束Spark的远程调试？” 我以为会得到一个很简单的答案，比如一个操作，一个很简单的命令什么的，但是安总给我一个沉重的打击，从原理从底层结束了我的Spark执行进程。 秀了一波华丽丽的操作，期间我插了一句嘴，“安总，filter怎么用？”我以为会给我打个比方，结果给我讲解了 阅读全文

摘要： 报错信息如上，具体是运行FusionInsight给的样例SparkPi，在local环境下是可以的，但是如果以yarn-client模式就会卡住，然后120s以后超时，其实以yarn-cluster模式也是会报错的，开始在spark-default-conf 中加上了driver的spark.dr 阅读全文

摘要： 1、在华为平台上下载整体客户端，不建议下载单个组件客户端，后期关联测试还是要装上的。 2、下载后需要将服务器上的客户端拷贝到本地。打开xShell，新建会话，登陆本地虚拟机上的Linux系统(192.168.56.110)，然后使用远程命令 ssh root@192.168.95.41 //41~4 阅读全文

摘要： Word如果遇到有空白页不能删除的情况，将光标定位在空白页前一页的末尾，然后按Delete键就可以删除空白页了。 实时计算，强调的是实时。比如小明要查看他去年一年的消费总额度，那么当小明点下统计按钮的时候，服务器集群就在噼里啪啦的赶紧计算了，必须在小明能够忍耐的时间范围内得出结果。这种计算的背后实现 阅读全文

摘要： 字符串转换为JSON 1、var json = eval('(' + str + ')'); 2、var json = (new Function("return " + str))(); 3、var json = JSON.parse(str); 使用JSON.parse需严格遵守JSON规范，如 阅读全文

摘要： import java.util.Comparator; /** * 定义一个Rectangle类，该类提供getLength和getWidth方法。利用图1-18中的findMax例程编写 * 一种main方法，该方法创建一个Rectangle数组并首先找出依面积最大的Rectangle对象，然后 阅读全文

摘要： 今天页面上突然查询不出数据，大致的sql语句是 select xx ,xxx from table a where a.lrmb in ( 6101060033, 61010503300, 61016666645 ) order by xxx desc 报错信息是"无效数字"，很快就发现是lrbm这 阅读全文

摘要： import java.util.Arrays; /** * 设计一个泛型类orderedCollection，它存储的Comparable对象的集合（在数组中）， * 以及该集合的当前大小。提供public方法isEmpty，makeEmpty，insert，remove，findMin和 * f 阅读全文