xingoo

摘要： 继上次的Spark shell脚本源码分析，还剩下后面半段。由于上次涉及了不少shell的基本内容，因此就把trap和stty放在这篇来讲述。 上篇回顾： "Spark源码分析之Spark Shell（上）" 总结一下，上面的代码大体上做了三件事： 1 捕获终端信号，执行退出方法，恢复一些操作 2 阅读全文

摘要： 终于开始看Spark源码了，先从最常用的spark shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。 先来介绍一下Spark shell是什么？ Spark she 阅读全文

摘要： 在刚刚毕业的时候，当时的领导就问了一个问题——个性化推荐与精准营销的区别，当时朦朦胧胧回答不出。现在想想，他们可以说是角度不同。精准营销可以理解为帮助物品寻找用户，而个性化推荐则是帮助用户寻找物品。 什么是推荐系统？ 那么什么是推荐系统呢？简单的来说，就是帮助用户和物品联系起来，让信息展现在对他感谢 阅读全文

摘要： 有的时候想要保存微信中的语音内容，但是苦于语音短且多，因此想要把它汇总成一个音频文件。 本篇以苹果手机为例，安卓手机也可类似。 第一步，安装同步助手 同步助手是一款在电脑上安装，可以保存手机上的内容的软件。支持把微信的聊天历史内容导出。甚至支持筛选语音文件按顺序导出——这其实就是我们需要功能。 "下 阅读全文

摘要： 在Java里面，是不需要太过于关乎垃圾回收，但是这并不意味着开发者可以不了解垃圾回收的机制，况且在java中内存泄露也是家常便饭的事情。因此了解垃圾回收的相关知识就显得很重要了。 引用，在垃圾回收中是一个很关键的概念，它关系到如何辨别这个对象是否被回收，什么时机回收。 引用的类型 在Java中引用的 阅读全文

摘要： Cat是美团点评出的一款APM工具，同类的产品也有不少，知名的开源产品如zipkin和pinpoint；国内收费的产品如oneapm。考虑到Cat在互联网公司的应用比较广，因此被纳入选型队列，我也有幸参与技术预言。 使用Cat断断续续将近两周的时间，感觉它还算是很轻量级的。文档相对来说薄弱一些，没有 阅读全文

摘要： 这本书讲述了李鸿章一生的故事，从最初考取功名到弃文从武镇压太平军，再到办理军务以及外交，他这一辈子做了很多然后人称颂的事情，也留下了很多的骂名。功与过就不去判断了吧，了解的人自然会有正确的评价。总的来说这本书偏重于为李鸿章报不平，里面把很多事情的责任推到慈禧与光绪身上，当然这种想法我也认为是合理的。 阅读全文

摘要： 这个类在日常的开发中，还是非常常用的。今天就总结一下Arrays工具类的常用方法。最常用的就是asList,sort,toStream,equals,copyOf了。另外可以深入学习下Arrays的排序算法，这个还是非常有用的。 所有的方法都是在下面的类中进行测试的: asList 这个方法可以把数 阅读全文

摘要： Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。在我的日常工作中，一部分工作就是基于oozie维护好每天的spark离线任务，合理的设计工作流并分配适合的参数对于spark的稳定运行十分重要。 Spark Action 这个Action允许执行spark任务，需 阅读全文

摘要： 在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。 目前正在结合机器学习理论学习MLlib源码 阅读全文