阿布_alone - 博客园

2022年3月10日

摘要：代码: import signal import time """ Python捕捉中断，我们编写程序有时候会用到死循环，在这种情况下我们可以通过Ctrl+C来进行终止，普通程序可以，但是有时候我们在程序中会打开很多资源，比如文件句柄，网络连接等，我们希望捕获中断然后处理一下这些资源对其进行释放阅读全文

posted @ 2022-03-10 23:47 阿布_alone 阅读(599) 评论(0) 推荐(0)

python运行选项

摘要：选项作用: -c cmd 在命令行直接执行python代码。如python -c 'print "hello world"'。 -d 脚本编译后从解释器产生调试信息。同PYTHONDEBUG=1。 -E 忽略环境变量。 -h 显示python命令行选项帮助信息。 -i 脚本执行后马上进入交互命令行阅读全文

posted @ 2022-03-10 23:23 阿布_alone 阅读(420) 评论(0) 推荐(0)

python的print不能及时输出的处理

摘要： 1、问题描述在Python中使用print打印hello world时，终端不显示 def hello(): print("hello world!") 2、原因因为标准输入输出stdin/stdout有缓冲区，所以使用print不能立即打印出来 3、解决方法 1）刷新缓冲区，python中是s 阅读全文

posted @ 2022-03-10 22:13 阿布_alone 阅读(2314) 评论(0) 推荐(1)

2022年3月9日

逆转时间，起死回生——程序报错崩溃后，如何倒回到崩溃的位置？

摘要：假设我们有一段程序，从 Redis 中读取数据，解析以后提取出里面的 name 字段： import json import redis client = redis.Redis() def read(): while True: data = client.lpop('info') if data 阅读全文

posted @ 2022-03-09 23:58 阿布_alone 阅读(155) 评论(0) 推荐(0)

一日一技：不用轮询，基于事件监控文件变动

摘要：我们经常会遇到监控文件变化的需求。例如日志监控程序监控日志文件，一旦日志文件发生变化，就进行读取。或者是大批量爬虫的规则配置文件监控，爬虫本身持续运行，一旦规则文件发生修改就自动读取新的规则。常见的做法，如果文件比较小，可以直接读取以后跟上次读取的内容做对比；也可以判断文件的修改时间是否发生变化；阅读全文

posted @ 2022-03-09 23:54 阿布_alone 阅读(248) 评论(0) 推荐(0)

如何调试Python 程序的内存泄露问题

摘要：如果大家在 Linux 或者 macOS 下面运行一段可能导致内存泄露的程序，那么你可能会看到下面这样的情况：而如果你用的系统是 Windows，那么可能电脑直接就卡死了。但是，调试这种 OOM（Out of Memory）的问题有时候是非常困难的，因为你不知道代码哪个地方会导致内存泄露。但是如阅读全文

posted @ 2022-03-09 23:48 阿布_alone 阅读(588) 评论(0) 推荐(0)

在 Linux 服务器中创建假桌面运行模拟浏览器有头模式

摘要：经常使用 Selenium 或者 Puppeteer 的同学都知道，他们启动的 Chrome 浏览器分为有头模式和无头模式。在自己电脑上操作时，如果是有头模式，会弹出一个 Chrome 浏览器窗口，然后你能看到这个浏览器里面在自动操作。而无头模式则不会弹出任何窗口，只有进程。别去送死了。Selen 阅读全文

posted @ 2022-03-09 23:32 阿布_alone 阅读(1398) 评论(0) 推荐(0)

如何实现可热拔插的插件系统

摘要：设想有这样一个场景：爬虫把数据一条一条写入到 Redis 中，你的另一个程序从 Redis 中一条条读取出来，进行一些处理后写入 MongoDB。一开始，你的处理逻辑非常简单，如果爬虫爬取的数据中，包含“垃圾信息”这四个字，那么直接把信息丢弃。运行了一段时间，新增了一个需求：如果数据的“sour 阅读全文

posted @ 2022-03-09 23:27 阿布_alone 阅读(282) 评论(0) 推荐(0)

如何实现一个轻量插件系统

摘要：假设我们实现了一个程序，它从 Redis 读取数据，然后写入 MongoDB。一开始程序是这样的： def read_from_redis(): ... def write_to_mongodb(doc): ... def parse(): for doc in self.read_from_red 阅读全文

posted @ 2022-03-09 23:21 阿布_alone 阅读(166) 评论(0) 推荐(0)

如何从地址中提取省市区？

摘要：假设我们通过爬虫获取了上万条不规范的地址信息：杭州市滨江区网商路599号东城区和平里街道上海市徐汇区 xx 小区... 现在老板想让你把这些地址统一格式化为标准的省市区地址格式，并写入到 Excel 中。你应该如何操作？有一个库，叫做 cpca，可以非常方便地解决这个问题。我们来写一段非常简单的阅读全文

posted @ 2022-03-09 23:17 阿布_alone 阅读(1604) 评论(0) 推荐(0)

阿布alone

公告