masuo

摘要： 在老师的号召下，我花了将近三四天的时间弄了这个疫情图，现在还是很简陋的，具体数据啥的不便透露。 看图： 第一张图：是全国每日疫情数据统计，红色为累计确诊病例，剩下的这上面都有解释，我也看不太清颜色。 右边的y轴对应的数据是最大的那条线的取值。 第二张图：全国疫情地图，数据不好搞，只能手动了。 enm 阅读全文

摘要： 在读了王概凯的架构漫谈“九部曲”之后，我对架构有了那么认识，但就像作者说的，没有实战，就不能说自己懂了，只是皮毛而已。 在我读了这篇文章后，对架构的认识就是“切分”，分而治之。 1、 什么是架构？ 在我看来呢，架构分为两部分，一部分是“框架”，另一部分是“构成”， 框架就是对于一个问题的界定，尽可能 阅读全文

摘要： 今天想把工作区间的一些无用工程删一下，但是这些有那么一点用的工程还是不忍心删掉，所以就想把他上传到github。 下面呢，我们就来说一下如何将本地工程上传到github 第一步，先在github上创建一个仓库，在首页，点击这个Repositories旁边的new。 第二步，填写信息，重点是name， 阅读全文

摘要： oh，suck。 本来想着今天enmm，安装spark，安好了，做一下试验，开始还觉得比较简单，但是越来越，我就做不动了。。 将将做到了实验五，前面还没有全部做完，，，陌生，空白。 剩下的时间，重装一下sqoop吧，因为虚拟机崩了一次，装的sqoop也没有了。 阅读全文

摘要： enmmm，这个大作业费了我整整一个假期，终于写完了。 要说实际工作时间的话，应该在两个星期左右，主要是对webmagic的不了解，了解webmagic用了大概一个星期，后面基本一天就能完成一个小阶段。 来看看项目结构吧， 我把爬虫与展示分开来写了。 爬虫部分的项目结构： 至于其效果啥的，在前都已经 阅读全文

摘要： MySQL操作：将表中相同字段的值合并 最近在操作数据库时，统计到一些数据，但由于处理不当，导致数据存在很多相同的值，如下： 在这个表中，我们可以看到”首都之窗“出现了两次，”顺义区“出现了两次，”通州区“出现了两次，这就对我之后的处理有很大问题，所以我需要将他们合并，数据列相加： sql语句为： 阅读全文

摘要： 昨晚在电脑的不懈努力下，在凌晨1.42的时候它完成了工作。 我在大概晚上7-8点开始的工作， 本次爬虫大概用时六个小时左右，数据量是13256kb 这就是本次的爬虫之旅。 下一步准备在虚拟机上导入hive数据库，进行数据的清洗，统计等操作。 /********续*******/ 23:21:27 虚 阅读全文

摘要： 在很多网址上，都有下一页这个button，而很多都是通过发送post请求来获取参数，今天我们就来看一下post的具体发送方式。 我之前发送一直不成功，原因是在发送json的格式上出了错，我之前写的时候，总是会把双引号改成单引号，导致发送失败。所以按照原来的post请求发送就可以，比如 这个网页的po 阅读全文

摘要： 经过这些天的深思，以及在各位前辈的帮助下，我的webmagic终于突破重重险阻，成功的跑了起来，现在趁着他在跑的空余（估计要跑好一阵了，现在秒速10条左右的记录，但以我的经验来看，一会就慢了），来讲这些天的所得所感写一下，个人觉得，写博客确实是一件好事，但在规则约束下的博客并不能体现我的诚意，就像我 阅读全文

摘要： 今天不做总结，（之后再补）。 在Hive中创建edu3数据仓库，并切换到edu3下。 create database edu3; use edu3; 5.在Hive创建一张表，用于存放清洗后的数据，表名为govdata，字段名、字符类型、字段解释如下： leixing string 类型 biaot 阅读全文