摘要:Hive功能 通过将SQL转换成MR、Spark等任务,来计算HDFS中数据的工具。 Hive是基于Hadoop之上的数仓工具。通过HDFS存储真实的数据,通过YARN运行计算任务(MR、Spark等可以依赖YARN)。 那么我们简单分析Hive需要具备的能力: 对SQL编译、抽象 将SQL转换成计 阅读全文
posted @ 2020-09-23 11:27 Leo Chin 阅读(29) 评论(0) 推荐(0) 编辑
摘要:数组是非常基础的数据结构。 特点: 连续的内存空间 相同的数据类型 优缺点: 支持随机访问 插入与删除成本较高 对于Java来说,平时可以使用ArrayList代替数组,因为其提供了丰富的API,支持自动扩容。缺点是不支持基础类型。 阅读全文
posted @ 2020-06-10 11:01 Leo Chin 阅读(62) 评论(0) 推荐(0) 编辑
摘要:class文件是java编译后的文件类型。其代表一个类,其有专门的存储格式。其中会存放数据也会存放方法,而所谓的方法存放就是将方法中的调用都转换成java字节码指令。所方法调用从机器的角度看就是对于寄存器中的数据和CPU之间的计算与存取。 ​ Java在编译时会将方法编译为Java字节码指令,并将字 阅读全文
posted @ 2020-06-04 10:31 Leo Chin 阅读(59) 评论(0) 推荐(0) 编辑
摘要:Transformation 是 Flink操作的底层实现,无论是map还是Flatmap。 DataStream类中包含两个变量: StreamExecutionEnvironment Transformation 或者说DataStream类的所有操作都是围绕着两个变量进行。 每一次操作(map 阅读全文
posted @ 2020-06-01 15:50 Leo Chin 阅读(188) 评论(0) 推荐(0) 编辑
摘要:数据结构与算法是天生一对。 BlockingQueue叫做阻塞队列,在Java线程池相关的实现中有广泛的使用。 BlockingQueue实现的功能如下: 当队列为空时,往队列中读数据将被阻塞。 当队列满时,往队列中写数据将被阻塞。 在juc中BlockingQueue主要实现有 ArrayBloc 阅读全文
posted @ 2020-06-01 14:04 Leo Chin 阅读(65) 评论(0) 推荐(0) 编辑
摘要:FutureTask实现的功能 它的功能就像他继承的接口一样:Runnable与Future。他实现了一套机制将两者连接起来。 Runnable主要方法是run(),用于执行一些程序。 Future主要用两个功能:get和cancel。 FutureTask就是将他们两者联系起来。即run()运行完 阅读全文
posted @ 2020-05-27 15:23 Leo Chin 阅读(94) 评论(0) 推荐(0) 编辑
摘要:在Flink的官网写着:Stateful Computations over Data Streams。 基于状态计算的数据流。 在流式计算中,希望做一些聚合分析等。那么就需要保存当前日志的状态,以备与后来的日志做比较。 在Flink中每个操作都会有状态的保存无论是source、sink还是oper 阅读全文
posted @ 2020-05-26 11:34 Leo Chin 阅读(123) 评论(0) 推荐(0) 编辑
摘要:类Unix系统是支持多个进程打开同一个文件,进行读写。 得益于类Unix系统对于文件操作的特殊设计。 分为三个数据结构 进程表项:其中包含进程中打开的文件和设备的文件描述符。还包含该文件描述符对应的文件表。进程表项存在于进程中,每个进程表项在进程内是独立的。 文件表项:存在于内核中。进程中每个打开的 阅读全文
posted @ 2020-05-22 16:58 Leo Chin 阅读(70) 评论(0) 推荐(0) 编辑
摘要:列存储和行存储在理解上的差别挺大,特别是在非常数据行存储之后。 在行存储中,每张表的结构是固定的,某一列可以没有值但是这一列是必须在的。那么可以理解行存储的数据是结构化的。 但是列存储确有每行的数据却是可以不一致的。 那么,以Hbase来理解列存储。 知识点一 在Hbase中也有表的概念,在定义表时 阅读全文
posted @ 2020-05-22 12:31 Leo Chin 阅读(65) 评论(0) 推荐(0) 编辑
摘要:Flnk作为流式计算平台,他能对源源不断发送过来的数据进行处理。 对于数据流的处理方式,可以是来一条处理一条(pipeline的方式),还可以获取一些数据然后统一处理。 对于数据流如何描述一堆数据呢?就是通过Window的概念。 Window Window翻译为窗口,相当于将流式数据进行逻辑切割,那 阅读全文
posted @ 2020-05-21 15:04 Leo Chin 阅读(145) 评论(0) 推荐(0) 编辑
摘要:今日好奇,下载Flink 1.10的源码在本机玩一玩。 将工程按照正常流程导入IDEA后,运行flink examples中的demo竟出现如下错误 Error:java: invalid flag: add exports=java.base/sun.net.util=ALL UNNAMED 通过 阅读全文
posted @ 2020-05-08 20:32 Leo Chin 阅读(147) 评论(0) 推荐(0) 编辑
摘要:下载源码 git clone -b 1.1.1 https://github.com/apache/kafka.git --depth=1 使用这样的方式下载主要是解决两个问题:其一,下载指定分支代码,这样不用下载最新代码然后切换到具体的tags。其二,因源码太大而只下载最新的depth可以增快下载 阅读全文
posted @ 2020-04-13 10:15 Leo Chin 阅读(196) 评论(0) 推荐(0) 编辑
摘要:在这次开发过程中,需要用到webview展示一些界面,但是加载的页面如果有很多图片就会发现内存占用暴涨,并且在退出该界面后,即使在包含该webview的Activity的destroy()方法中,使用webview.destroy();webview=null;对内存占回收用还是没有任何效果。有人说... 阅读全文
posted @ 2015-03-02 21:33 Leo Chin 阅读(6769) 评论(1) 推荐(0) 编辑
摘要:开源软件现在成为整个互联网时代的支撑技术,你可能已经无法离开由开源软件构建起来的网络世界了。下面我们就来看看一些最重要的开源技术。为互联网而生的操作系统linuxLinux是一款免费的操作系统,诞生于1991年,用户可以通过网络或其他途径免费获得,并可以任意修改其源代码。它能运行主要的UNIX工具软... 阅读全文
posted @ 2015-02-09 10:24 Leo Chin 阅读(2830) 评论(1) 推荐(0) 编辑
摘要:在Android中,若想將整張圖片轉成灰階效果其實有更簡便的方式,只要透過ColorMatrix類別的setSaturation函式將飽和度設為0即可。(您也可以試試從0~1之間的值,看看不同飽和度的效果)詳細方法如下://colorBitmap為原始Bitmap,grayBitmap則用來存放處理... 阅读全文
posted @ 2015-02-05 11:38 Leo Chin 阅读(1302) 评论(0) 推荐(0) 编辑
摘要:前言本篇文章为Android优化的布局部分,该部分应该是Android中很重要的,无论是在自定义控件中,还是在简单的书写布局时,都应该尽量遵循一些优化原则,这样布局的绘制效率才会更高,体验才能更好。一 优化layout的层级Layout结构如果太复杂,Android的绘制过程就会很复杂,measur... 阅读全文
posted @ 2015-01-28 14:50 Leo Chin 阅读(627) 评论(0) 推荐(1) 编辑
摘要:本文编译自Shubhro Saha的个人博客在学校里,有“文科生”和“理科生”的区分,学习内容不同,思维方式也有差异。我是一名理科生,大学里我的专业是计算机科学,毕业后我的工作是软件工程师。在这个过程中,我发现文理科之间的鸿沟始终无法弥合。我见到的很多工程师害怕写文章,而文科生看到代码就头疼。我认为... 阅读全文
posted @ 2015-01-20 10:34 Leo Chin 阅读(1718) 评论(2) 推荐(6) 编辑
摘要:本文是html5tricks原创翻译,转载请看清文末的转载要求,谢谢合作!作为一个合格的程序员,有太多的理由促使你去编写干净利落且可读性强的代码。最重要的是因为你编写的代码,将来会有很多人一次次地阅读。当你有一天回过头来看自己的代码时,你就会明白编写优雅的代码是多么的重要。另外,如果别人来阅读你编写... 阅读全文
posted @ 2014-12-05 11:00 Leo Chin 阅读(1287) 评论(0) 推荐(1) 编辑
摘要:转自:http://www.cnblogs.com/angeldevil/archive/2011/12/02/2271096.html3.0以前,android支持两种动画模式,tween animation,frame animation,在android3.0中又引入了一个新的动画系统:pro... 阅读全文
posted @ 2014-12-02 23:32 Leo Chin 阅读(638) 评论(0) 推荐(0) 编辑
摘要:那些非程序员认为软件开发是非常困难的,确实如此,但这种困难不像那些外行人理解的那样。最近在 Quora 上的一次讨论,程序员分享了他们认为工作中的最大困难,在这里为大家呈现出其中的 9 个。你可以看到,写代码并不是最难的事情,如果你也在从事软件开发,看看哪些内容你认为也是很难的。一、怎样才是最佳解决... 阅读全文
posted @ 2014-11-28 09:42 Leo Chin 阅读(1023) 评论(0) 推荐(0) 编辑