星辰°

摘要： 今天将爬下来的数据清洗了清洗，这些数据中存在一些重复数据，应该是北京市政官网的数据库有点问题。 清洗完我才发现，其实可以直接用navicat导入。将original_id这个字段设置为主键，直接就能将重复数据剔除。 今天还尝试爬取信件的具体内容以及完成了部分信件数据可视化的内容。 阅读全文

摘要： 这几天一直在弄电脑，不止win10出现了一点小毛病，虚拟机也出了点问题。这几天看了一点点python的多线程，改了改爬信件的脚本。 脚本运行时间在2分钟左右是因为模拟Ajax请求获取数据比较费时，一个完整的数据交换（1000条）在4s左右，写入文件的时间很少可以忽略不记。由于之前的脚本是顺序执行，爬 阅读全文

摘要： 今年过年真的是一点年味都没有了。因为疫情形势比较严峻，我们这里要求不要出去走亲访友。其实这样也好，不出去又安全又省事，在家里待着就能为国家做贡献。 昨天和今天看了点python，然后试着做了做爬取北京市政百姓信件的实验。 北京市政百姓信件列表的官网已经改变，用实验要求里给的网站只会显示无法打开该网页 阅读全文

摘要： 实验要求 https://pan.baidu.com/s/1hTnGnxdvgyNaLwckbKUgJA 程序源代码 package cleandata; import java.io.IOException; import org.apache.hadoop.fs.Path; import org 阅读全文

摘要： 实验要求及步骤 参考博客：https://blog.csdn.net/qq_41035588/article/details/90514824，但是创建的项目是Map/Reduce项目。其实创建Java项目也可以做，只是需要导入Map/Reduce项目所需要的jar包。 运行结果截图 出现的问题及解 阅读全文

摘要： 目录 安装详细过程 移动MySQL到其他盘 安装失败的一些解决方法 一、安装详细过程 一、安装详细过程 MySQL默认安装在“C:\Program Files”目录下。普通使用只安装MySQL Server就足够了，大小为416M。如果不想装在C盘，也可以安装完成之后再将其移动到其他盘。 1.接受许 阅读全文

摘要： 所花时间（包括上课） 代码量（行） 博客量（篇） 了解到的知识点 这周主要在复习数据库，做了点php、web和数据库的实验，然后还补发了之前没有发的两篇博客——找水王和计算最长英语单词链。其实这两个程序课后都已经完成了，只是一直懒得发... 阅读全文

摘要： 第三章用一个故事来讲了软件开发的方向，作者将软件开发的过程比作了开车。软件开发就是做好准备后开始“行驶”，期间需要不停地“打方向盘”。 好的项目管理方法可以描述为:“预备……发射……瞄准……瞄准……瞄准……瞄准……瞄准“ 第四章题目是：平衡职权。这一章主要讲的是”业务人员进行业务决策。技术人员进行技 阅读全文

摘要： 所花时间（包括上课） 代码量（行） 博客量（篇） 了解到的知识点 这周在复习数据库等科目，然后和同学组队做了php的大作业。我发现写代码前真的需要规划，不能想到什么就写什么。比如php大作业里的登录功能，开始我就没有规划，只是想着地址传值给主页面，然后其他页面就能知道用户已登录，但是后来发现地址传值 阅读全文

摘要： 一、servlet注解 servlet3.0支持使用@WebServlet注解来实现JSP到servlet的跳转，此方法不需要配置项目中的web.xml文件。 Test.jsp <%@ page language="java" contentType="text/html; charset=UTF- 阅读全文