摘要: 需求 有一张uuid表,column为 phone,要求在插入uuid数据的时候,会有一个通过phone指向uuid的索引表。本文通过Observer的的动态装载协处理方式实现 实现 HBase创建uuid表和phone表 create 'phone','f1' create 'uuid','f1' 阅读全文
posted @ 2020-06-08 22:15 Alcesttt 阅读(395) 评论(0) 推荐(0) 编辑
摘要: 源代码: import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val inputFile = "C://sc 阅读全文
posted @ 2020-03-31 23:08 Alcesttt 阅读(388) 评论(0) 推荐(0) 编辑
摘要: 问题描述 flink能正常启动,但是启动任务就失败,哪怕启动examples下面的示例程序也是报错 报错内容 akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/dispatcher#-7386948 阅读全文
posted @ 2020-02-28 22:39 Alcesttt 阅读(2026) 评论(0) 推荐(0) 编辑
摘要: crontab 是用来让使用者在固定时间或固定间隔执行程序之用 参数说明 选项 功能 -e 编辑crontab定时任务 -l 查询crontab任务 -r 删除当前用户所有的crontab任务 时间格式 项目 含义 范围 第一个“*” 一小时当中的第几分钟 0-59 第二个“*” 一天当中的第几小时 阅读全文
posted @ 2019-10-19 11:13 Alcesttt 阅读(3961) 评论(0) 推荐(0) 编辑
摘要: 例如:代码List list = new ArrayList(); 下面通过list来操作集合。假如代码编写后却发现集合使用的不准确,应该使用LinkedList,那么只要修改一行代码List list = new LinkedList();就可以。 这行以后的代码不需要修改,因为List接口保证了 阅读全文
posted @ 2019-09-12 18:04 Alcesttt 阅读(2855) 评论(0) 推荐(0) 编辑
摘要: 窄依赖 父RDD和子RDD partition之间的关系是一对一的,或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。 不会有shuffle的产生,父RDD的一个分区去到子RDD的一个分区。 多对一或者一对一 可以理 阅读全文
posted @ 2019-09-12 18:00 Alcesttt 阅读(488) 评论(0) 推荐(0) 编辑
摘要: ArrayList的父类List中,有2个remove重载方法: 假如参数输入为数字类型,到底是删除值等于该数字的对象还是删除索引为该数字的元素 结果 因为泛型类的类型必须为引用类型,而不能为基础类型。所以传int的时候,会被当做下标值,传Integer的时候,会被视为泛型类 阅读全文
posted @ 2019-09-06 16:42 Alcesttt 阅读(1901) 评论(0) 推荐(0) 编辑
摘要: 思路 如果 value==arr[mid],中间值正好等于要查找的值,则返回下标,return mid; 如果 value<arr[mid],要找的值小于中间的值,则再往数组的小端找,high=mid-1; 如果 value>arr[mid],要找的值大于中间的值,则再往数组的大端找,low=mid 阅读全文
posted @ 2019-09-04 15:14 Alcesttt 阅读(212) 评论(0) 推荐(0) 编辑
摘要: Scala Java 阅读全文
posted @ 2019-09-02 19:17 Alcesttt 阅读(1092) 评论(0) 推荐(0) 编辑
摘要: Hive内部表和外部表区别 1.创建内部表时,内部表的数据文件是保存在指定的路径的;如若创建外部表,则只记录数据所在的路径,不会对数据位置做改变。 2.删除表的时候,内部表元数据和数据会跟着一起删除。外部表只删除元数据 内部表和外部表使用场景 外部表:每天将收集到的网站日志定期流入 HDFS 文本文 阅读全文
posted @ 2019-08-30 18:59 Alcesttt 阅读(1803) 评论(0) 推荐(0) 编辑