摘要：
美图收集的日志需要通过 ETL 程序清洗、规整，并持久化地落地于 HDFS / Hive，便于后续的统一分析处理。 图 1 ETL?即 Extract-Transform-Load，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL? 阅读全文
posted @ 2018-09-12 11:19
马竹君
阅读(604)
评论(0)
推荐(0)
摘要：
经常有人在微信群里问浪尖，到底应该如何配置yarn集群的资源，如何配置spark executor数目，内存及cpu。今天浪尖在这里大致聊聊这几个问题。 资源调优 Spark和YARN管理的两个主要资源是CPU和内存。磁盘和网络I / O也会影响Spark性能，但Spark和YARN都不会主动管理它 阅读全文
posted @ 2018-09-12 11:19
马竹君
阅读(2489)
评论(0)
推荐(0)
摘要：
程序员最艰巨的任务跟编写代码没有多少关系。编码是逻辑思路的一种实践，这跟程序员日常工作中的其它任务比起来相对简单。如果你认为自己还是一个水平一般的程序员，在你真正能进入到高手行列前，请确保你已经克服了下列晋级的障碍。 1. 解释你在干什么 解释软件开发过程是一个很困难的事情。那些非程序员职业的人也许 阅读全文
posted @ 2018-09-12 11:18
马竹君
阅读(1509)
评论(0)
推荐(0)
摘要：
文：? 转载自公众号 “ 生活中我们常常发现很多程序员拿着高薪，却常常沦为单身狗，每当情人节来临，却只能形单影只的一个人，过得十分凄惨。 自从程序员毕业出来工作进入 IT 行业之后，常常接触不到女性，一不小心就到了被催恋催婚的年纪。 前有阿里的高级工程师，穿着一双特步的运动鞋去相亲，结果被对方婉拒。 阅读全文
posted @ 2018-09-12 11:18
马竹君
阅读(510)
评论(0)
推荐(0)
摘要：
来源：千锋教育（id:qianfengjiaoyu） 关于女神 一副黑框眼镜，身上格子衬衫，背后一个黑色双肩包，耳边戴着一副耳机。没错，说的就是你——程序员！这就是典型的IT男，或者程序员在大众心目中的形象，虽然不帅但丝毫不影响他们对女神的要求！猿们心中期待的小姐姐都是哪些类型呢？ 1、清纯+智慧的 阅读全文
posted @ 2018-09-12 11:15
马竹君
阅读(1584)
评论(0)
推荐(0)
摘要：
本文来自阿里技术官方公众号（ali_tech） 导读：你是否曾经认真思考过——毕业3-5年、10年，乃至更久后，我们希望成为什么样的人？作为一名技术人，我们要如何规划自己的职业发展生涯？网上热议的“35岁中年危机”，本质上又因什么而焦虑？今天，阿里资深技术专家毗卢，将带来自己的思考与理解，希望对大家 阅读全文
posted @ 2018-09-12 11:14
马竹君
阅读(204)
评论(0)
推荐(0)
摘要：
每个IT企业，尤其是初创企业，非常苦恼：找不到好的程序员。现在大学、软件学院及各种培训机构，每年培养几十万的程序员，毕业的每个人都有同样困恼：找不到好的工作。问题出在哪里呢？ 其实，企业需要的是不是刚会写程序的人，需要来了就能干活的人，尤其能把活干好的人。而刚毕业的大学生多半刚学会如何写程序，的确很 阅读全文
posted @ 2018-09-12 11:13
马竹君
阅读(857)
评论(0)
推荐(0)
摘要：
PageRank算法简介PageRank是执行多次连接的一个迭代算法，因此它是RDD分区操作的一个很好的用例。算法会维护两个数据集：一个由（pageID，linkList）的元素组成，包含每个页面的相邻页面的列表；另一个由（pageID，rank）元素组成，包含每个页面的当前排序值。它按如下步骤进行 阅读全文
posted @ 2018-09-12 11:12
马竹君
阅读(672)
评论(0)
推荐(0)
摘要：
这是是在之前一个贴吧看见过的例子： 据说，某互联网公司招了个日本人做研发，上班第一天就对部门同事说：“我在日本工作时是个加班狂，每天都很晚回家，希望大家跟上我的步伐。”一个月之后他辞职回日本了，扔下一句话：“你们这样加班，经常睡在公司是很不人道的。” 来一个笑话段子： 程序猿问科比：“科比，你为何如 阅读全文
posted @ 2018-09-12 11:12
马竹君
阅读(214)
评论(0)
推荐(0)
摘要：
闭包的概念如下图： 在spark应用里，变量及函数的作用范围和声明周期在spark的集群运行模式下是比较难理解的，尤其是对初学者来说。RDD的操作，要修改其作用范围的变量，经常会出点叉子。下面，可以举个用foreach，修改一个计数器的例子。 例子 求和RDD元素的例子，该例子会根据该段代码是否执行 阅读全文
posted @ 2018-09-12 11:11
马竹君
阅读(3497)
评论(1)
推荐(0)
浙公网安备 33010602011771号