摘要： 网上相关文章较少, 得到了一些结论:1 . 无法满足数据仓库调度对于数据体系依赖分析及元数据管理相关要求，故不能作为数据仓库的主要使用方式.2. hbase主要海量数据的存储，hive比较适合数据仓库分析相关大数据时代的争议：Spark 能替代 Hive 吗？ 阅读全文

摘要： rdd.mapPartitions与Dstream.transform需要返回值RDD, 是转换算子(存在重复计算的问题)rdd.foreachPartion与Dstream.foreachRDD不需要返回值, 是行动算子注意:如果没有缓存, 没调用一次行动算子, 都会对涉及到的转换算子计算一次. 阅读全文

摘要： QTTabBar 「资源管理器」该有的样子 - 少数派 https://sspai.com/post/52521shiflt 阅读全文

摘要： Cache核心作用是加快取用的速度.Buffer核心作用是用来做缓冲. 避免资源大量重复调用, 将多个调用合并成一个.缓冲和缓存名称是不一样的, 叫write-buffer和read-cache.两个误解:不要误解Buffer就是用来写的, Cache就是用来的不要误解Cache或Buffer一定就指内存. 只要是相对高速即可详见:Cache(缓存)和 Buffer（缓冲），主要区别是什么？ 阅读全文

摘要： IDEA中编写并运行shell脚本 阅读全文

摘要： 在将项目同步到远程仓库时需要编写忽略文件, 该过程可以借助ignore插件使用详见.ignore插件的安装与使用 阅读全文

摘要： Redis可以通过LINDEX key index获取list中的特定值, 但无法直接删除特定索引下的值. LSET与LREM结合删除list中特定索引的值 两步: 先用LSET在指定索引位置上设置特殊值: LSET key index value在指定索引位置的值替换为value 再用LREM删除该特殊值: LREM key n value, 从左边删除n个value 例如删除lis... 阅读全文

摘要： Datanode节点会配置多块数据盘，当我们往 HDFS 上写入新的数据块，DataNode 将会使用 volume 选择策略来为数据块选择存储的磁盘目录。选择正确的策略可以避免单块磁盘数据过多.HDFS在写入时有两种策略:基于轮询策略(默认), 不考虑文件大小基于可用空间的策略轮询策略核心代码// 遍历磁盘列表 while (true) { final V volume = vo... 阅读全文

摘要： mooc网址：http://mooc.guokr.com/course/1301/文献管理与信息分析/mooc笔记：http://mooc.guokr.com/course/1301/文献管理与信息分析/note/第一至三周笔记整理：http://mooc.guokr.com/note/20617/分享的几句话：http://mooc.guokr.com/note/10141/课程中涉及到的手机a... 阅读全文

摘要： 群里有分享一个很不错的vim键盘图, 这里也分享出来.常用:ZZ: 保存退出ZQ: 不保存退出A: 行尾追加i: 插入I: 行首插入:/ 搜索%s/x/y/g(全局替换)u 撤销命令 阅读全文