2018年12月3日
spark-streaming-kafka采坑
摘要： java.lang.NoSuchMethodException: scala.runtime.Nothing$.<init>(kafka.utils.VerifiableProperties) at java.lang.Class.getConstructor0(Class.java:3082) a 阅读全文
posted @ 2018-12-03 19:31 sungyouga 阅读(441) 评论(0) 推荐(0)
2018年11月23日
scala 用actor并发统计词频
摘要： import scala.actors.{Actor, Future}import scala.collection.mutableimport scala.io.Sourcecase class MySend(file: String)case class MyRecieve(msg: Map[S 阅读全文
posted @ 2018-11-23 10:31 sungyouga 阅读(229) 评论(0) 推荐(0)
2018年10月25日
在linux下安装MySQLd
摘要： 在linux下安装MySQLd 1、linux版本 首先在安装MySQL-python之前要安装setuptools（否则在安装MySQL-python的时候会抛出ImportError: No module named setuptools异常）： 安装setuptools步骤： shell中输入 阅读全文
posted @ 2018-10-25 16:37 sungyouga 阅读(559) 评论(0) 推荐(0)
mapreduce中map和reduce个数
摘要： 一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定 阅读全文
posted @ 2018-10-25 11:55 sungyouga 阅读(2765) 评论(0) 推荐(0)
2018年10月11日
spark读写HBASE
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-10-11 14:26 sungyouga 阅读(4) 评论(0) 推荐(0)