I'm_江河湖海

摘要：一、史前故事先看一个简单例子，实际可能会复杂很多： def today(): print('2018-05-25') 现在有一个新的需求，希望可以记录下函数的执行日志，于是在代码中添加日志代码： def today(): print('2018-05-25'... 阅读全文

posted @ 2022-10-07 20:56 I'm_江河湖海阅读(14) 评论(0) 推荐(0)

posted @ 2022-10-07 20:56 I'm_江河湖海阅读(14) 评论(0) 推荐(0)

摘要：继上节使用原生多进程并行运行，基于Redis作为消息队列完成了圆周率的计算，本节我们使用原生操作系统消息队列来替换Redis。文件使用文件进行通信是最简单的一种通信方式，子进程将结果输出到临时文件，父进程从文件中读出来。文件名使用子进程的进程id来命名。进... 阅读全文

posted @ 2022-10-07 20:56 I'm_江河湖海阅读(23) 评论(0) 推荐(0)

posted @ 2022-10-07 20:56 I'm_江河湖海阅读(38) 评论(0) 推荐(0)

摘要：这一节，我们将通过一个简单的登录页面，进一步学习 Django 的使用。新建项目首先，新建一个 Django 项目，记得别弄错了哦。 settings 中静态文件、templates 路径配置这里我们已经写好了登录页面（点我下载），但是这一个登录页面不... 阅读全文

posted @ 2022-10-07 20:56 I'm_江河湖海阅读(50) 评论(0) 推荐(0)

posted @ 2022-10-07 20:56 I'm_江河湖海阅读(117) 评论(0) 推荐(0)

摘要：一、需求有时候我们写了很多爬虫在运行，但是我们可能不会一直有时间来监控它的变化，比如报错了，或者爬完了，如果我们能有个通知来通知我们，那该是多好啊！比如发个邮件，发个短信那是再好不过了，那么本篇文章就介绍一下使用 Scrapy 怎样来发送一封通知邮... 阅读全文

posted @ 2022-10-07 20:55 I'm_江河湖海阅读(28) 评论(0) 推荐(0)

posted @ 2022-10-07 20:55 I'm_江河湖海阅读(35) 评论(0) 推荐(0)

摘要：随着 Python 和大数据的火热，大量的工程师蜂拥而上，爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象，爬虫的发展进入了高峰期，因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本，不得不使出各种各样的技术手段来阻... 阅读全文

posted @ 2022-10-07 20:55 I'm_江河湖海阅读(17) 评论(0) 推荐(0)

摘要：最近研究了一下抖音的爬虫，目前实现了热门话题和热门音乐下面所有相关视频的爬取，并且我已经将该爬虫打包成了一个 Python 库并发布，名称就叫做 douyin，利用该库可以使用不到 10 行代码完成热门视频的下载、相关音乐的下载以及结构化信息的存储。本文就来... 阅读全文

posted @ 2022-10-07 20:55 I'm_江河湖海阅读(1750) 评论(1) 推荐(0)