Loading

随笔分类 -  Python

ubuntu 16下安装python3 lxml
摘要：sudo apt install python3-lxml 阅读全文
posted @ 2018-12-11 09:23 摇橙子 阅读(350) 评论(0) 推荐(0)
pymysql 的转义处理
摘要：问题描述 写爬虫时遇到了字符串中同时含有单双引号，在往数据库中写数据时出现语法错误 解决方案 查阅文档后发现pymysql有个 阅读全文
posted @ 2018-07-10 17:21 摇橙子 阅读(867) 评论(0) 推荐(0)
使用python 将bt转磁力链接
摘要：BT种子文件相对磁力链来说存储不方便，而且在网站上存放BT文件容易引起版权纠纷，而磁力链相对来说则风险小一些。而且很多论坛或者网站限制了文件上传的类型，分享一个BT种子还需要改文件后缀或者压缩一次，其他人需要下载时候还要额外多一步下载种子的操作。 所以将BT种子转换为占用空间更小，分享更方便的磁力链 阅读全文
posted @ 2018-07-10 17:21 摇橙子 阅读(3909) 评论(0) 推荐(0)
e-hentai爬虫(更新)
摘要：使用了BeautifulSoup，re和urllib模块 可爬取图片，标题，时间，bt下载连接 无编写代理池,防爬虫功能 (后续更新) 增加了bt转磁力链接,可直接对接到mysql存储,代码之后贴出来 阅读全文
posted @ 2018-07-10 17:20 摇橙子 阅读(98800) 评论(0) 推荐(0)
python 多线程
摘要：多任务可以由多进程完成，也可以由一个进程内的多线程完成。 我们前面提到了进程是由若干线程组成的，一个进程至少有一个线程。 由于线程是操作系统直接支持的执行单元，因此，高级语言通常都内置多线程的支持，Python也不例外，并且，Python的线程是真正的Posix Thread，而不是模拟出来的线程。 阅读全文
posted @ 2018-07-10 17:19 摇橙子 阅读(98) 评论(0) 推荐(0)
python 分布式进程设计
摘要：在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。 Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器 阅读全文
posted @ 2018-07-10 17:19 摇橙子 阅读(241) 评论(0) 推荐(0)