团队项目第一阶段冲刺第一天

第一天

今天是准备爬取高德大数据代码，主要爬取道路和区域拥堵数据，要按f12在network里面找存放当前时刻数据的文件，所有城市信息在https://trp.autonavi.com/ajax/getCityInfo.do?里面保存，道路信息在

https://trp.autonavi.com/ajax/roadRank.do?roadType=0&timeType=0&cityCode=650100里保存

cityCode在第一个城市信息里有，区域信息在https://trp.autonavi.com/ajax/districtRank.do?linksType=1&cityCode=650100里保存，之后就是通过Python爬取数据。爬取时发现是动态页面，直接打印页面代码打印不出来，所以用了selenium解析，用selenium得到源代码，再用re解析得到正确的源代码，之后就是将代码存入数据库，但存入一直报错，很长时间解决不了。