04 2021 档案

日常问题总结（持续更新中）
摘要：1.爬取Python数据时，爬取的页面是动态加载的，正常的requsets请求无法获取内容。解决：用selenium解析，然后获取其HTML内容，再用re解析，获取里面的JSON数据。 2.爬取数据时，有时无法存入数据。解决：sql语句错误，sql语句里面的数据名与mysql关键字重复。 3.前端页 阅读全文
posted @ 2021-04-24 22:05 三坑 阅读(99) 评论(0) 推荐(0)
电梯演讲
摘要：目标用户是城市的规划者，开发者。 我们的项目选题是《交通时空大数据挖掘系统》 看到同类型的网站上，它只有实时的数据，没有历史记录这一项 对此，我们的项目准备保留历史记录，暂定为一个月的记录，同时在数据删除前会进行汇总，将他们按月，按季度，按年汇总保留，一边用户查看历史记录 同时也可以使用这个记录进行 阅读全文
posted @ 2021-04-20 14:02 三坑 阅读(71) 评论(0) 推荐(0)
团队冲刺阶段的要求2
摘要：项目预计第一阶段花费十天的时间，第二阶段粗略估计要花一个月，因为第二阶段所需要的技术，像 Hadoop，kafka之类的之前并没有接触过，而第一阶段的工作，css、JavaScript、HTML，echarts等 在之前的学习中已有涉猎。目前已经花费十天，还剩余一个月 产品状态：目前已实现获取当前热 阅读全文
posted @ 2021-04-18 23:59 三坑 阅读(71) 评论(0) 推荐(0)
项目计划会议
摘要：第一阶段 在网站上爬取数据，进行分析，处理，在前端大屏上生成东部地区的地图下钻的人口热力图，迁移轨迹，拥堵程度及拥堵时段 ，精确到每条街道 第二阶段 根据数据进行出行预测，人口迁移预测，拥堵预测，以及线路规划 阅读全文
posted @ 2021-04-18 08:34 三坑 阅读(61) 评论(0) 推荐(0)
团队项目计划会议
摘要：任务认领： 李校宇：爬取所需数据，搭建服务器 张杰：将爬取到的数据进行前端数据展示 赵一：数据分析，清洗，进行人口流动、道路拥的数据预测 阅读全文
posted @ 2021-04-14 10:24 三坑 阅读(40) 评论(0) 推荐(0)
NABCD模型分析
摘要：N(need)： 城市的管理者和建设者想要直观查看本地人口流动以及城市交通拥堵状况的数据，当这些数据以文字的形式展现的时候特别抽象，并不能直观的让使用者获取这些数据 而且缺少一个预测系统，提前预知问题出现的地方，提前进行规划部署来减少以及解决问题 A（approach）： 我们设计了一个实时的数据可 阅读全文
posted @ 2021-04-13 07:49 三坑 阅读(141) 评论(0) 推荐(0)
遇到的第一个问题
摘要：原题目中数据是手机信令，但是手机信令不对个人及一些商用开放，虽然题目中提供了一些数据，但是我们做的是实时的 所以我们的数据来源没有了，有点难搞 发现这个问题后，我们及时讨论，在寻找其他数据源的时候，以及对项目可行性重新分析，同时考虑更换题目 阅读全文
posted @ 2021-04-10 16:10 三坑 阅读(47) 评论(0) 推荐(0)
确定选题2
摘要：现在已经返校了，小组奔现了。。。 分析了一下上次确定的三个待选题目，最终决定了《交通时空大数据分析挖掘》这个题目 这几天要根据这个题目查找资料，具体分析应用场景，具体的目标用户 以及需要的技术，以及我们小组在这两个周期需要的完成的任务 阅读全文
posted @ 2021-04-09 12:57 三坑 阅读(51) 评论(0) 推荐(0)