一起来学python

摘要： multiprocessing 用的最多的是pool.map,类似的还有pool.map_async这个是异步的，这两个需要传递的参数不同，另外python3不建议使用pool.apply了，具体我不很清楚自己查。 简单解释下上面代码用的参数，其中partial是一个偏函数，关于它的用法参照（我看着 阅读全文

摘要： #!/usr/bin/env python3 from functools import partial from itertools import repeat from multiprocessing import Pool, freeze_support def func(a, b): return a + b def main(): a_args = [1,2,3] ... 阅读全文

摘要： # -*-coding: utf-8-*- # Author : Christopher Lee # License: Apache License # File : test_example.py # Date : 2017-06-18 01-23 # Version: 0.0.1 # Description: simple test. import logging import ... 阅读全文

摘要： 1.创建项目 我这里的项目名称为scrapyuniversal，然后我创建在D盘根目录。创建方法如下 打开cmd，切换到d盘根目录。然后输入以下命令: 如果创建成功，d盘的根目录下将生成一个名为scrapyuniversal的文件夹。 2.创建crawl模板 打开命令行窗口，然后定位到d盘刚才创建的 阅读全文

摘要： 对于刚接触scrapy的同学来说, crawlspider中的rule是比较难理解的, 很可能驾驭不住. 而且笔者在YouTube中看到许多公开的演讲都都错用了follow这一选项, 所以今天就来仔细谈一谈. 首先我们看scrapy中的follow是如何实现的: # 为了方便理解, 去除了不必要代码 阅读全文

摘要： Option Explicit Dim objIE Set objIE = CreateObject("InternetExplorer.Application") objIE.Visible = True WScript.sleep(100) call asplogin(objIE, "用户名", "密码") Wscript.Quit '---------------------------... 阅读全文

摘要： Item是保存结构数据的地方，Scrapy可以将解析结果以字典形式返回，但是Python中字典缺少结构，在大型爬虫系统中很不方便。 Item提供了类字典的API，并且可以很方便的声明字段，很多Scrapy组件可以利用Item的其他信息。 定义Item 定义Item非常简单，只需要继承scrapy.I 阅读全文

摘要： #!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = "Daniel Altiparmak (sixfinger78@gmail.com)" __copyright__ = "Copyright (C) 2015 Daniel Altiparmak" __license__ = "GPL 3.0" import asyncio... 阅读全文

摘要： https://hubertroy.gitbooks.io/aiohttp-chinese-documentation/content/aiohttp%E6%96%87%E6%A1%A3/ClientUsage.html#%E4%BD%BF%E7%94%A8WebSockets 阅读全文

该文被密码保护。 阅读全文