随笔分类 -  spark

摘要：本机spark 消费kafka失败（无法连接） 终端也不报错 就特么不消费： 但是用console的consumer 却可以 经过各种改版本 ，测试配置，最后发现 只要注释掉 kafka 配置server.properties 中的host.name=kevinhost1(我自己的主机名) 就行了 阅读全文

摘要：下载msyql的连接driver https://download.csdn.net/download/xz360717118/10662304 把其中一个： mysql-connector-java-5.1.27-bin.jar 放到了spark安装目录下的jars文件夹下面 并且分发给所有的机器 阅读全文

摘要：语法是： combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C ) 标记一下：（因为有很多同样的字母，方便说明我就按照字母+数字标记一下） 语法说明：（不复制网上的， 阅读全文

摘要：spark 创建分区 val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98)) val input = sc.parallelize(scores 阅读全文