逐梦的猫 - 博客园

解决ipython-7.19没有代码提示

摘要：解决ipython-7.19没有代码提示之前使用scrapy shell调试爬虫，对ipython进行了安装，安装命令为pip install ipython 显示安装成功，版本为：ipython-7.19 但在使用中发现没有代码提示功能，上午搜索发现网上也有类似的问题，综合了一下网上提供的解决方阅读全文

posted @ 2021-01-28 19:47 逐梦的猫阅读(413) 评论(0) 推荐(1)

scrapy框架学习（四）scrapy shell

摘要： scrapy shell Scrapy shell是一个交互终端在未启动spider的情况下尝试及调试您的爬取代码。其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python终端，在上面测试任何的Python代码。该终端是用来测试XPath或CSS表达式，查看他们的工作方式及从爬取的网阅读全文

posted @ 2021-01-27 20:00 逐梦的猫阅读(97) 评论(0) 推荐(0)

scrapy框架学习（三）项目启动

摘要：项目启动 1.seting.py配置文件设置好之后，在爬虫文件中构建解析代码 spider_QiuShi.py import scrapy class SpiderQiushiSpider(scrapy.Spider): #爬虫名字 name = 'spider_QiuShi' #域名限制列表，列表阅读全文

posted @ 2021-01-26 23:46 逐梦的猫阅读(77) 评论(0) 推荐(0)

scrapy框架学习（二）项目创建及seting基本配置

摘要：项目创建 1.创建项目 1.创建项目：进入要创建项目的目录，并在终端内输入命令 scrapy startproject 项目名 2.创建爬虫文件：进入创建的爬虫项目目录，并在终端内输入命令 scrapy genspider 爬虫名域名 3.项目目录结构 myfirst_scrapyDemo myf 阅读全文

posted @ 2021-01-26 00:54 逐梦的猫阅读(216) 评论(0) 推荐(0)

scrapy框架学习（一）初识框架

摘要： scrapy框架学习初识一、概述 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。二、安装安装：pip install scrapy 因为安装scrapy需要相阅读全文

posted @ 2021-01-25 00:34 逐梦的猫阅读(66) 评论(0) 推荐(0)

python多线程爬虫

摘要： python多线程爬虫一、进程与线程的定义进程：进程就是一个程序在一个数据集上的一次动态执行过程。进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化阅读全文

posted @ 2021-01-24 23:57 逐梦的猫阅读(426) 评论(0) 推荐(0)

sublime text3中手动安装Package Control

摘要： sublime text3中手动安装Package Control 之前配置sublime text3的时候也在网上搜索过不少文章，但是很多文章里面介绍的自动安装和手动安装方式尝试之后都没有能正常安装Package Control，直到偶然间看到一个昵称叫“火星黑洞”写的一篇博文，之后按照其中介绍的阅读全文

posted @ 2021-01-12 19:43 逐梦的猫阅读(386) 评论(0) 推荐(0)