大虾

摘要： 客户提供了公众号文章的永久链接，并在远程数据库中保存了原创的文章，要求采集目标公众号文章和原创文章有多少重复的，以便判定是否侵权。 程序设计 每天都有大几千的公众号文章url保存到远程数据库中，并要求及时统计近似值，原则上当前的url当前都要消化完毕，如果能在1个小时内消化更佳。大几千的url也不算 阅读全文

摘要： 最近使用pymysql写脚本的情况越来越多了，刚好整理，简单封装一个pymysql的操作类 import pymysql class MysqlDB: def __init__( self, host=None, port=None, db=None, account=None, password= 阅读全文

摘要： 开发中经常会有float四舍五入转int的需求，先看看浮点数直接转int的情形：无论如何float直接转int都不会四舍五入，而是直接抹去小数点。 这个需求很简单，实现也很简单，看过网友的实现，都不够优雅，来一个我自己写的： # a > 0时 a = 1.2 a = int(a + 0.5) if 阅读全文

摘要： 在做一个公众号采集的项目中，客户有个要求，想把二维码的url保存到数据库中，如图。 原本以为要各种骚操作各种逆向才能获取得到，没想到竟然很简单。 第一步 观察二维码url的规范 https://mp.weixin.qq.com/mp/qrcode?scene=10000005&size=102&__ 阅读全文

摘要： 粘贴一下部分的多进程代码 if __name__ == '__main__': """"流程模拟""" multiprocessing.freeze_support() # 打包成exe时，需要该语句，防止系统无限创建子线程 print(f"{time.strftime('%Y-%m-%d %H:% 阅读全文

摘要： 方法1 全局设置 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 方法2 临时命令 pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simp 阅读全文

摘要： 在爬虫爬取过程中，会爬取到一些html转义字符，如· 、 ” 。这些字符出现在字符串中很违和。python3中内置库html可以帮我们完美处理，以下是使用方法。 from html import unescape html = '说养·自然医学' html = unescape(htm 阅读全文

摘要： 下载地址 https://build-system.fman.io/qt-designer-download 或到百度网盘中下载： 链接: https://pan.baidu.com/s/1RBIZofhXAexcEWnmzHFa8g?pwd=x2c6 提取码: x2c6 其中包含了汉化语言包 安装 阅读全文

摘要： 大部分编程语言，都绕不开并发的话题，小项目基本单线程或单进程可以轻松胜任，但某些场景下我们不得不考虑使用多线程或多进程来提升处理任务的速度或提升并发了。如，爬虫要爬取10000个网站，python要同时处理1000个word文档，django同时要在短时间内给10000个用户发送邮件。瞧，这都是耗时 阅读全文

摘要： 某些场景下，生成随机字符串是刚需。纯手动写一个未尝不可，不过python内置的string模块能让我们更加方便地实现这个需求。 string提供的变量 # Some strings for ctype-style character classification whitespace = ' \t\ 阅读全文