Evak

摘要： 今天看了关于北京信件分析施展的内容，其中找了半天信件的网址，老师给的网址有些出入，下面时我找的网址： http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow 研究了一下这个网页，发现这个网页和之前我做的爬取有些不太一样，这 阅读全文

摘要： 今天开始正式完成实验任务 学习的知识点主要是Spark运行基本流程 RDD概念 RDD 中的依赖关系 Spark划分 RDD 在 Spark 架构中的运行过程 完成实验一Linux系统常用命令 Spark运行基本流程 （1）当一个 Spark Application 被提交时，首先需要为这个应用构建 阅读全文

摘要： 上一学期的云计算课上，也有spark的实验任务。对它有一个初步的了解，但是当时因为时间紧任务重，在完成实验任务后就没有再详细研究。 趁着寒假重新开始学习spark，这次希望可以对它掌握的更加全面，首先从基本的概念入手。 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、S 阅读全文

摘要： package mapreduce; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop 阅读全文

摘要： 站立式会议是一种新型的会议方式 团队成员每天固定时间，在固定的地点开会，一般是站着围在一起。在会议上，每个人主要描述三件事： 1)昨天我做了什么? 2)遇到哪些问题? 3)今天计划做什么? 会议一方面节省了时间、提升了会议效率，另一方面也有助成员加强沟通。 书的第二十章就是在讲站立会议的内容 站立会 阅读全文

摘要： DEming说过：“你无法管理你不能测量的事情。”当然软件行业没有统一度量标准，但是当对一个项目的 进度一无所知的时候，真的非常煎熬。可视图便是一个非常好的方法，可以让团队成员及时知道项目的进度。 当然一些图当它完成他的使命时要及时将它删除，图固然好，但是过多的图确适得其反，毕竟我们是程序员而不是画 阅读全文

摘要： 第六章 任务太多 规划极限编程是我本学期阅读软件工程方面的最后一本书籍。下面就第六章，任务太多，发表以下自己的想法， 这一章提到了两次会议。作者的团队接手了一个要湮没的项目。离第一次发布的时间非常短，第一次碰头讨论 是什么在阻碍进度，所有人都说我们的时间不多，第一次就这样无果而终，然而第二次作者让他 阅读全文

摘要： 不知道为什么，感觉这个学期过得非常快，仿佛昨天还在教室里进行第一次开学考试，今天就已经迎来了学期结束。回想整个学期， 从最开始的个人作战，到后来在老师的指导下学会团队作战，中间经历了很多的事情同时也收获颇多。 第一次团队作战是两个结对开发地铁线路，时间大概为一个星期，第一次尝试两个一起编程。说实话， 阅读全文

摘要： 编程时间：12小时左右 代码行数：约1200行 博客园发表量：3篇 这周最大的收获就是一个随机答案显示的php程序 阅读全文

摘要： 编程时间：12小时左右 代码行数：约1200行 博客园发表量：3篇 学到了一个shuffle函数 用来打乱数组元素顺序 阅读全文