摘要： 动态渲染页面爬取 JavaScript动态渲染页面，他的分页部分有js生成，并非原始的HTML代码 如淘宝使用request只能请求到页面大致框架，无法拿到商品数据，或部分网站换页时url不发生变化。 或者使用Ajax开发的网站（如今日头条），他的接口有很多加密处理（搜索信息后信息URL经过加密处理 阅读全文

摘要： MongoDB 使用PyMongo库中的MongoClient。一般情况下传入MongoDB的IP及端口号即可，其中一个参数为host第二个参数为prot，如果不传递参数，端口默认为27017 可以建立多个数据库，此处以test为例 每个数据库包含多个集合，类似于mysql中的表 如果插入多条数据， 阅读全文