会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Alcesttt
博客园
首页
新随笔
联系
订阅
管理
2020年6月8日
用Hbase协处理器Observer实现二次索引
摘要: 需求 有一张uuid表,column为 phone,要求在插入uuid数据的时候,会有一个通过phone指向uuid的索引表。本文通过Observer的的动态装载协处理方式实现 实现 HBase创建uuid表和phone表 create 'phone','f1' create 'uuid','f1'
阅读全文
posted @ 2020-06-08 22:15 Alcesttt
阅读(430)
评论(0)
推荐(0)
2020年3月31日
Spark在windows idea上报错:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
摘要: 源代码: import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val inputFile = "C://sc
阅读全文
posted @ 2020-03-31 23:08 Alcesttt
阅读(446)
评论(0)
推荐(0)
2020年2月28日
flink1.7报错:akka.pattern.AskTimeoutException: Ask timed out on
摘要: 问题描述 flink能正常启动,但是启动任务就失败,哪怕启动examples下面的示例程序也是报错 报错内容 akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/dispatcher#-7386948
阅读全文
posted @ 2020-02-28 22:39 Alcesttt
阅读(2196)
评论(0)
推荐(0)
2019年10月19日
Linux crontab命令参数和时间格式说明
摘要: crontab 是用来让使用者在固定时间或固定间隔执行程序之用 参数说明 选项 功能 -e 编辑crontab定时任务 -l 查询crontab任务 -r 删除当前用户所有的crontab任务 时间格式 项目 含义 范围 第一个“*” 一小时当中的第几分钟 0-59 第二个“*” 一天当中的第几小时
阅读全文
posted @ 2019-10-19 11:13 Alcesttt
阅读(4214)
评论(0)
推荐(0)
2019年9月12日
Java List<String> list=new ArrayList<String>();为什么要声明为List,而不是ArrayList<String>
摘要: 例如:代码List list = new ArrayList(); 下面通过list来操作集合。假如代码编写后却发现集合使用的不准确,应该使用LinkedList,那么只要修改一行代码List list = new LinkedList();就可以。 这行以后的代码不需要修改,因为List接口保证了
阅读全文
posted @ 2019-09-12 18:04 Alcesttt
阅读(2917)
评论(0)
推荐(0)
Spark 宽窄依赖和stage的划分
摘要: 窄依赖 父RDD和子RDD partition之间的关系是一对一的,或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。 不会有shuffle的产生,父RDD的一个分区去到子RDD的一个分区。 多对一或者一对一 可以理
阅读全文
posted @ 2019-09-12 18:00 Alcesttt
阅读(558)
评论(0)
推荐(0)
2019年9月6日
java ArrayList的remove()方法的参数为int和Integer的问题
摘要: ArrayList的父类List中,有2个remove重载方法: 假如参数输入为数字类型,到底是删除值等于该数字的对象还是删除索引为该数字的元素 结果 因为泛型类的类型必须为引用类型,而不能为基础类型。所以传int的时候,会被当做下标值,传Integer的时候,会被视为泛型类
阅读全文
posted @ 2019-09-06 16:42 Alcesttt
阅读(1951)
评论(0)
推荐(0)
2019年9月4日
Java 二分法查找
摘要: 思路 如果 value==arr[mid],中间值正好等于要查找的值,则返回下标,return mid; 如果 value<arr[mid],要找的值小于中间的值,则再往数组的小端找,high=mid-1; 如果 value>arr[mid],要找的值大于中间的值,则再往数组的大端找,low=mid
阅读全文
posted @ 2019-09-04 15:14 Alcesttt
阅读(223)
评论(0)
推荐(0)
2019年9月2日
Spark 用Scala和Java分别实现wordcount
摘要: Scala Java
阅读全文
posted @ 2019-09-02 19:17 Alcesttt
阅读(1105)
评论(0)
推荐(0)
2019年8月30日
hive 外部表和内部表的区别和相互转换
摘要: Hive内部表和外部表区别 1.创建内部表时,内部表的数据文件是保存在指定的路径的;如若创建外部表,则只记录数据所在的路径,不会对数据位置做改变。 2.删除表的时候,内部表元数据和数据会跟着一起删除。外部表只删除元数据 内部表和外部表使用场景 外部表:每天将收集到的网站日志定期流入 HDFS 文本文
阅读全文
posted @ 2019-08-30 18:59 Alcesttt
阅读(2020)
评论(0)
推荐(0)
下一页
公告