2020年6月23日
摘要: 一、背景说明 os.walk()应该是当前python中遍历目录最推荐的函数,之前用python写了一个用于收集系统用到的第三方组件的脚本,在测试时使用os.walk()遍历了部分目录,并通过了全网的测试。但在改成遍历根目录后,被业务反馈说脚本占用内存过高导致了内存告警。 在直观感觉上,只遍历目录又 阅读全文
posted @ 2020-06-23 19:48 诸子流 阅读(1307) 评论(0) 推荐(0) 编辑
摘要: 一、高CPU占用 1.1 使用长时间任务 高cpu很自然会想到的是让操作系统不停地在做事,而不停做事的有做一件很久的事和做死循环两种实现方式。 但是现践来看不管是哪种实现都只能占用一定比例的cpu,在cpu原本空闲的情况下很难使cpu占用到百分之八九十。 # 计算/dev/zero的sha1值 sh 阅读全文
posted @ 2020-06-23 19:43 诸子流 阅读(1265) 评论(0) 推荐(0) 编辑
摘要: 一、系统资源使用限制的必要性探讨 对于一个脚本,最基础的限制是要限制单进程实例以保证了不会存在多个进程实例、在运行程序主体逻辑前检测系统资源剩余量确保自己不是压夸系统的最后一根稻草、设置程序运行超时时间以保证进程实例不会无休止地运行下去。 进一步,在部署有可用性要求较高的服务的主机中,我们还需要关注 阅读全文
posted @ 2020-06-23 19:39 诸子流 阅读(1256) 评论(0) 推荐(0) 编辑
摘要: 一、背景说明 以前就感觉进步的速度和博客的数量成正比,所以很长一段时间内想不通为什么很多博客为什么到最后很少甚至不在更新了,直到最近自己也快成为断更的一员。 这段时间其实碰到和解决了挺多典型的问题,但上班高负荷运转下班没心思周末觉得太耗费时间,就导致一直拖着没写。 但Python执行系统命令这个问题 阅读全文
posted @ 2020-06-23 19:17 诸子流 阅读(1489) 评论(0) 推荐(0) 编辑