我要去巴黎

摘要： 用 Python 搭一个网页截图 API，3 秒出图，还能屏蔽广告 做 SEO 工具、网站监控、社交媒体卡片预览的时候，都需要一个"输入 URL，返回网页截图"的功能。市面上的截图 API 最低 $9/月，我用自己的服务器搭了一个，成本只有服务器本身。 技术方案 核心思路很简单：FastAPI 接收 阅读全文

摘要： 每年春节前，后端开发群都会准时出现同一个问题： "今年 2 月 14 号到底是上班还是不上班？" 答案是：上班。因为这是春节调休的补班日——一个周六，但你要去公司。 问题出在哪 市面上主流的节假日 API（Calendarific、HolidayAPI.com、Abstract API、Nager. 阅读全文

摘要： 思路 由于在未登录的情况下，进行搜索商品信息操作，页面会自动跳转到登录界面，所以我们首先要解决自动登录的问题，经过测试发现，通过微博登录比较方便，所以我就通过微博登录了； 登录成功后，搜索相关的商品信息存储到MongoDB中 代码 配置文件 config.py 阅读全文

摘要： 爬虫第一步：新建项目 选择合适的位置，执行命令：scrapy startproje xxxx（我的项目名：douban） 爬虫第二步：明确目标 豆瓣电影排行url：https://movie.douban.com/top250?start=0， 分析url后发现srart=后面的数字，以25的步长递 阅读全文

摘要： 编写setting.py文件，写好相关的配置就可以运行 配置文件需要修改的并不多，下面 只把需要修改或添加的代码 贴进来 ~~~ 使用scrapy redis的url指纹去重，不使用scrapy默认去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPD 阅读全文

摘要： Scrapy框架是什么 Scrapy是用纯Python实现一个为了爬取网站数据、 提取结构性数据 而编写的 应用框架 ，用途十分广泛； 框架的力量 能够让用户只需要开发几个模块就能实现爬虫，用来 爬取网页内容或者图片 ，不用重造轮子，十分方便； Scrapy使用了 Twisted （其主要对手是To 阅读全文

摘要： 爬虫第一步：新建项目 选择合适的位置，执行命令： scrapy startproje sinaNews （sinaNews是自定义爬虫项目名称） 成功执行后， 如图 ： 爬虫第二步：明确目标 首先打开要爬取的网站：https://news.sina.com.cn/ 在 导航div（main nav） 阅读全文