摘要:生命不息,奔跑不止,持之以恒,勇攀高峰!JasonCeng的跑步打开博文,持续更新,培养好习惯,一起变成更优秀的自己! 阅读全文
posted @ 2019-12-25 22:14 JasonCeng 阅读(45) 评论(0) 推荐(0) 编辑
摘要:我们都知道,索引是数据库中的一把双刃剑,用好索引,能使性能提升好几个数量级,而如果对索引认识不深,乱用索引,则有可能适得其反。本文查阅相关资料整理出对索引的深度认识,深入介绍了MySQL中的B-Tree索引、哈希索引、空间数据索引(R-Tree)、全文索引以及其他索引类别。分别从各种索引的内部实现原理、应用优势及相关限制进行介绍。希望能对你有所帮助。 阅读全文
posted @ 2019-12-15 14:45 JasonCeng 阅读(1364) 评论(0) 推荐(0) 编辑
摘要:阿里的《大数据之路》第9章介绍了其内部进行数据整合及管理的方法体系和工具OneData。他们在这一体系下,构建统 、规范、可共的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性,了解他们的建模理论,有助于扩宽我们对数据建模的视野和思考。 阅读全文
posted @ 2020-05-05 22:46 JasonCeng 阅读(55) 评论(0) 推荐(0) 编辑
摘要:阿里的《大数据之路》第6.1章介绍了他们对数据服务架构也进行的多次升级改造。服务架构的每次升级,均在性能、稳定性、扩展性等方面有所提升,从而能更好地服务于用户。观察行业内走在前面的人是如何走的对自身的视野有许多帮助,借此机会读这本章书,并整理出相关重点。 阅读全文
posted @ 2020-05-05 17:14 JasonCeng 阅读(40) 评论(0) 推荐(0) 编辑
摘要:Linux系统中,链接是一个十分常见且实用的文件处理命令,它分为软链接和硬链接两种类型。软链接类似于Windows中的快捷方式,硬链接又有着与原文件保持同步更新的特性,两种链接方式各有特点,也各有其应用。接下来我们一起来深入认识一下这两种链接方式。 阅读全文
posted @ 2020-05-04 16:17 JasonCeng 阅读(124) 评论(0) 推荐(3) 编辑
摘要:文件可以说是占据了Linux系统半壁江山,那么,我们理所应当要认识文件,且还要懂得如何创建、查看文件(touch、cat命令)。既然是使用Linux,当然是为了提高效率和效能,那么我们就更应该多学几种工具,例如比cat命令更高级的more、less命令;当我们只需查看文件首尾的时候,要学会使用head、tail命令;同时我们更要懂得如何像使用Windows快捷方式一样在Linux下创建链接文件。下面就让我一一为大家展开介绍。 阅读全文
posted @ 2020-05-04 15:58 JasonCeng 阅读(27) 评论(0) 推荐(0) 编辑
摘要:打包与压缩是我们在计算机系统日常使用中必备的一个工具,就如我们在使用Windows系统,也需要类似WinRAR的压缩软件来将许多数据、文件打包成一个文件,并压缩其占用空间。那Linux下有没有类似WinRAR一样强大的打包工具呢?那就是大名鼎鼎的tar了。tar可以将多个目录或文件打包成一个大文件,同时还可以通过gzip/bzip2的支持,将该文件同时进行压缩。更有趣的是,由于tar的使用太广泛了,以致于目前WinRAR也支持tar.gz文件名的解压缩。本文我将介绍tar命令的语法构成、参数说明、具体使用以及进阶操作。 阅读全文
posted @ 2020-05-03 17:25 JasonCeng 阅读(123) 评论(0) 推荐(0) 编辑
摘要:本文通过精炼的归纳总结和翔实的举例说明列举出SparkSQL开发过程中经常出错的,需要注意的一些细节,欢迎交流~ 阅读全文
posted @ 2020-01-20 14:13 JasonCeng 阅读(40) 评论(0) 推荐(0) 编辑
摘要:最近对于“技术型人才最终应该走什么路线”有一点思考。这个问题在每个不同的阶段,我都略感困惑,和许多人探讨过,甚至和专业的职业规划咨询师也聊过,每一次我的收获和感受都有所不同。 阅读全文
posted @ 2020-01-11 22:04 JasonCeng 阅读(49) 评论(0) 推荐(0) 编辑
摘要:今天在开发SparkRDD的过程中出现Buffer Overflow错误,查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了,日志建议调大spark.kryoserializer.buffer.max的value,搜索了一下设置keyo序列化缓冲区的方法,特此整理记录下来。 阅读全文
posted @ 2020-01-08 23:39 JasonCeng 阅读(679) 评论(0) 推荐(0) 编辑
摘要:2019年是坎坷的一年,是转变的一年,是成长的一年。 完整看完6本非专业书籍,看了一半的有1本,翻阅的有4本。专业书籍完整看完的有2本,看部分章节的有8本。 上半年可以分为三部分,毕设、找工作、阅读。三者交叉进行。据不完全统计...看了无数网页...(There is no car!) 下半年是工作工作工作工作工作... 年度金句:我太南了... 所以我存在! 21世纪全新的20年代,加油ヾ(◍°∇°◍)ノ゙ 阅读全文
posted @ 2019-12-31 00:23 JasonCeng 阅读(86) 评论(0) 推荐(0) 编辑
摘要:踏实每一个脚印,JasonCeng的2019年12月复盘 阅读全文
posted @ 2019-12-30 23:44 JasonCeng 阅读(39) 评论(0) 推荐(0) 编辑