数据挖掘 - 随笔分类 - Loyio

数据挖掘_利用协程抓取

摘要：协程，又称微线程，纤程。英文名Coroutine。协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。所以子程序调用是通过栈实现阅读全文

posted @ 2018-05-05 11:14 Loyio 阅读(347) 评论(0) 推荐(0)

数据挖掘_多进程抓取

摘要：之前说过Python的多线程只能运行在一个单核上，也就是各线程是以并发的方式异步执行的这篇文章我们来聊聊Python多进程的方式多进程依赖于所在机器的处理器个数，在多核机器上进行多进程编程时，各核上运行的进程之间是并行执行的，可以利用进程池，是每一个内核上运行一个进程，当翅中的进程数量大于内核总阅读全文

posted @ 2018-05-01 08:58 Loyio 阅读(410) 评论(0) 推荐(0)

数据挖掘_多线程抓取

摘要：在这一篇文章中，我们主要来介绍多线程抓取数据。多线程是以并发的方式执行的，在这里要注意，Python的多线程程序只能运行在一个单核上以并发的方式运行，即便是多核的机器，所以说，使用多线程抓取可以极大地提高抓取效率下面我们以requests为例介绍多线程抓取，然后在通过与单线程程序比较，体会多线程阅读全文

posted @ 2018-04-30 10:44 Loyio 阅读(994) 评论(1) 推荐(3)

数据挖掘_并行并发介绍和同步异步介绍

摘要：前面跟大家讲的request s和spynner都是单进程（单线程）的顺序抓取，而并发和并行执行的异步抓取会极大地提高抓取效率。并行和并发并发和并行使两个相似的概念，并发是指在一个时间段内发生若干事件的情况，并行是指在同一时刻发生若干事件的情况。我们可以以CPU的工作方式来说明这两个概念单核阅读全文

posted @ 2018-04-28 14:40 Loyio 阅读(395) 评论(0) 推荐(0)

数据挖掘_requests模块的post方法

摘要：前面已经跟大家讲了requests模块的get方法，这一篇文章我们要介绍的是requests模块中的另一个比较常用的方法，post方法 post方法的形式相比于get要复杂一些，这时因为post在提交时需要提供一些数据信息，对于使用来说，两种方法基本差不多请注意，查询字符串（名称/值对）是在 PO 阅读全文

posted @ 2018-04-27 14:36 Loyio 阅读(574) 评论(0) 推荐(0)

数据挖掘_requests模块的get方法

摘要：关于requests模块之前在跟大家讲通过字典列表批量获取数据的时候用过这个模块安装过程就不再讲解了 requests模块是python的http库，可以完成绝大部分与http应用相关的工作，所以我们可以用它来进行数据抓取工作 requests模块有两个常用的方法，get 和 post 我们也主阅读全文

posted @ 2018-04-26 14:12 Loyio 阅读(1173) 评论(0) 推荐(0)

Python数据挖掘_Python2模块Spynner的安装(安装失败)

摘要：我们一起来学习如何使用Spynner进行数据抓取单数据抓取机顾名思义就是单进程的数据抓取形式，通常在数据不是很多的时候被应用首先我们要介绍Spynner Spynner在抓取时可以出现一个浏览器，在浏览器中可以观察抓取过程的变化，Spynner还可以加载javascript生成的动态内容，然后抓阅读全文

posted @ 2018-04-22 19:10 Loyio 阅读(542) 评论(0) 推荐(0)

python数据挖掘_Json结构分析

摘要：json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的 python提供内置的模块json，只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档 json常用的方法有load、loads、dump以及dumps，这个都属于python 阅读全文

posted @ 2018-04-21 10:11 Loyio 阅读(1113) 评论(0) 推荐(0)

Python数据抓取_BeautifulSoup模块的使用

摘要：在数据抓取的过程中，我们往往都需要对数据进行处理本篇文章我们主要来介绍python的HTML和XML的分析库BeautifulSoup BeautifulSoup 的官方文档网站如下 https://www.crummy.com/software/BeautifulSoup/bs4/doc/ Be 阅读全文

posted @ 2018-04-19 16:07 Loyio 阅读(1017) 评论(1) 推荐(0)

数据挖掘_通过字典列表批量抓取网页数据

摘要：在进行网页数据抓取时我们要先安装一个模块 requests 通过终端安装如下图因为我之前安装过了，所以不会显示安装进度条，安装也非常简单，如果你配置好环境变量的话，你只需要执行以下命令如果提示要升级，就按下面升级pip 安装完模块后我们正式开始进行数据爬取先说一下requests的用法，导入这阅读全文

posted @ 2018-04-19 08:14 Loyio 阅读(1684) 评论(0) 推荐(1)

susmote

Coding to change world !!!

随笔分类 - 数据挖掘

公告