01 2018 档案

安装scrapy框架出错的解决
摘要：要安装scrapy 一般会出现 以下错误（要先安装twisted） 今天通过pip安装twisted遇到了“error: Microsoft Visual C++ 14.0 is required”错误。 于是下载了一个VS2017,但是发现问题并没有解决，在我配置了系统环境后仍然是这样的错误。 但 阅读全文
posted @ 2018-01-31 20:49 mapuboy 阅读(260) 评论(0) 推荐(0)
使用python-aiohttp爬取今日头条
摘要：http://blog.csdn.net/u011475134/article/details/70198533 原出处 在上一篇文章《使用python-aiohttp爬取网易云音乐》中，我们给自己的微信公众号添加了在线点歌的功能，这次我们再增加一个新闻浏览的功能。由于我平时浏览新闻用的是今日头条， 阅读全文
posted @ 2018-01-24 22:01 mapuboy 阅读(4352) 评论(0) 推荐(0)
python验证码简单识别
摘要：因为需求，所以接触了验证码这一块，原本感觉到会很难，学了之后挺简单的，但后来又发现自己还是too young。。。 PIL（python Image Library） 目前PIL的官方最新版本为1.1.7，支持的版本为python 2.5, 2.6, 2.7， PIL官方网站：http://www. 阅读全文
posted @ 2018-01-24 12:50 mapuboy 阅读(21688) 评论(1) 推荐(1)
【转】Python中的GIL、多进程和多线程
摘要：转自：http://lesliezhu.github.io/public/2015-04-20-python-multi-process-thread.html 1 GIL(Global Interpretor Lock,全局解释器锁) see: http://www.jeffknupp.com/b 阅读全文
posted @ 2018-01-23 19:53 mapuboy 阅读(567) 评论(0) 推荐(0)
关于爬虫中常见的两个网页解析工具的分析 —— lxml / xpath 与 bs4 / BeautifulSoup
摘要：http://www.cnblogs.com/binye-typing/p/6656595.html 读者可能会奇怪我标题怎么理成这个鬼样子，主要是单单写 lxml 与 bs4 这两个 py 模块名可能并不能一下引起大众的注意，一般讲到网页解析技术，提到的关键词更多的是 BeautifulSoup 阅读全文
posted @ 2018-01-23 19:06 mapuboy 阅读(454) 评论(0) 推荐(0)
PyCharm的基本快捷键和配置简介
摘要：快捷键 1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档 阅读全文
posted @ 2018-01-23 17:50 mapuboy 阅读(393) 评论(0) 推荐(0)
Python多进程库multiprocessing中进程池Pool类的使用
摘要：问题起因 最近要将一个文本分割成好几个topic，每个topic设计一个regressor，各regressor是相互独立的，最后汇总所有topic的regressor得到总得预测结果。没错！类似bagging ensemble！只是我没有抽样。文本不大，大概3000行，topic个数为8，于是我写 阅读全文
posted @ 2018-01-23 17:11 mapuboy 阅读(2655) 评论(0) 推荐(0)
python正则表达式详解
摘要：请移步到http://www.jb51.net/tools/zhengze.html 30分钟学会正则表达式的详细教学. #下面是一些常用法 url 的基本判断: 正则表达式是一个很强大的字符串处理工具，几乎任何关于字符串的操作都可以使用正则表达式来完成，作为一个爬虫工作者，每天和字符串打交道，正则 阅读全文
posted @ 2018-01-23 13:42 mapuboy 阅读(481) 评论(0) 推荐(0)