爬虫--scrapy+redis分布式爬取58同城北京全站租房数据
摘要:作业需求: 爬取北京全站租房信息 爬取全站用基于crawlspider建立爬虫文件 对北京出租下的70页信息进行爬取: 分析页码网页 https://bj.58.com/chuzu/pn2 bj代表北京 包括四种类型的房源:个人房源;经纪人;安选房源;品牌公寓 个人房源: 经纪人: 安选房源: 品牌
阅读全文
posted @
2018-12-11 16:49
foremost
阅读(516)
推荐(0)
动态爬取豆瓣电影中“更多”电影详情数据
摘要:动态爬取豆瓣电影中“更多”电影详情数据 开发中经验总结: 1、设置多个代理ip每次随机选取 2、在测试阶段建议先把数据下载到本地,在本地取保存的数据,避免被反爬处理,,导致因访问频繁无法进行数据处理 3、本次数据解析采用: 4、加深了对Beautiful Soup对象类型 Tag对象的理解 http
阅读全文
posted @
2018-12-06 14:34
foremost
阅读(755)
推荐(0)
BBS+ BLOG系统(仿博客园)
摘要:一、基本要求 作业题目:开发BBS+BLOG系统 作业需求: 评论处、上传文章处都要防止xss攻击--凡是向网站输入内容的都要防止 博客系统开发: 演示内容, 1、注册输入为空,输入已注册过的信息提交 2、登录为空、输入错误提交 3、展示首页 注销--重新输入 4、个人站点--展示--进入文章详情页
阅读全文
posted @
2018-11-25 22:39
foremost
阅读(456)
推荐(0)