python - 随笔分类 - 潇潇六月雨

scrapy 运行时报错 No module named _sqlite3

摘要：新服务器上运行scrapy时报错 exceptions.ImportError: No module named _sqlite3 原因由于新的环境缺少sqlite的依赖，编译python3是虽然不报错。运行scrapy时会出现问题解决办法安装依赖 yum install sqlite-dev 阅读全文

posted @ 2019-11-29 08:24 潇潇六月雨阅读(789) 评论(0) 推荐(0)

bash: scrapy: command not found

摘要：一、场景执行 pip install scrapy 后，安装成功且执行 import scrapy 成功二、问题在shell中执行 scrapy 返回 bash: scrapy: command not found 三、解决办法（1）进入 Python 的主目录，如cd /usr/local/py 阅读全文

posted @ 2019-11-28 23:00 潇潇六月雨阅读(679) 评论(0) 推荐(0)

升级完pip后出错：Traceback (most recent call last): File "/usr/bin/pip", line 11, in <module> sys.exit(__main__.main())

摘要：今天在ubuntu上升级了pip，之后执行pip命令的时候就报错了： Traceback (most recent call last): File "/usr/bin/pip", line 11, in <module> sys.exit(__main__.main()) 解决方法： sudo v 阅读全文

posted @ 2019-11-28 22:47 潇潇六月雨阅读(1763) 评论(0) 推荐(0)

安装Python包报错——ReadTimeoutError

摘要：一、问题：安装python包的时候报错ReadTimeoutError——Read time out. 二、解决办法三种方法，一是切换下载源；二是下载相应平台的安装包后安装；三是下载源码编译安装；第一种方法，切换下载源推荐 https://pypi.tuna.tsinghua.edu.cn/sim 阅读全文

posted @ 2019-11-28 22:38 潇潇六月雨阅读(1042) 评论(0) 推荐(0)

scrapy学习笔记（二）框架结构工作原理

摘要：scrapy结构图： scrapy组件： ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 SPIDER：爬虫，负责提取页面中的阅读全文

posted @ 2019-09-22 12:20 潇潇六月雨阅读(262) 评论(0) 推荐(0)

Scrapy框架的基本组成及功能使用

摘要：1.什么是scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。框架的本质就是集成各种功能、具有很强通用性的项目模板。 2.安装 Linux： pip3 install scrapy Windows：》见Twisted安装 a. pip3 install wheel 阅读全文

posted @ 2019-09-22 12:13 潇潇六月雨阅读(465) 评论(0) 推荐(0)

Python HTTP库requests中文页面乱码解决方案！

摘要：# - requests模块如何处理携带参数的get请求# -- 需求：指定一个词条，获取搜狗搜索结果所对应的页面数据 import requestsurl = 'https://www.sogou.com/web?query=周杰伦&ie=utf-8'headers = { 'User-Agent 阅读全文

posted @ 2019-06-09 23:53 潇潇六月雨阅读(424) 评论(0) 推荐(0)

windows 如何将安装Anaconda之前已经安装的python版本（中已安装的库）移动到 Anaconda中

摘要：题目】如何将安装Anaconda之前已经安装的python版本（中已安装的库）移动到 Anaconda中一、概述之前安装tensorflow的安装了anaconda并用它进行安装，anaconda安装后里面也带有一个python的版本，之后我发现在cmd中运行时使用的的原来的python版本，并阅读全文

posted @ 2019-06-08 23:11 潇潇六月雨阅读(2570) 评论(0) 推荐(0)

Jupyter配置工作路径

摘要：在修改之前，C:\Users\Administrator\ .jupyter 目录下面只有一个“migrated”文件。打开命令窗口（运行->cmd），进入python的Script目录下输入：jupyter notebook --generate-config，会在.jupyter文件夹下生成一阅读全文

posted @ 2019-06-06 17:14 潇潇六月雨阅读(255) 评论(0) 推荐(0)

本地主机访问远程linux系统服务器上的jupyter notebook

摘要：1，机器情况：服务器 centos python环境已经配置好了，在虚拟环境下安装了anaconda 并且在里面安装了jupyter notebook 2，主机是 windows ipython notebook是一个基于浏览器的python数据分析工具，使用起来非常方便，具有极强的交互方式和富文本阅读全文

posted @ 2019-06-06 17:05 潇潇六月雨阅读(665) 评论(0) 推荐(0)

centos安装 Anaconda3及使用

摘要：阅读目录回到顶部下载安装下载地址https://www.anaconda.com/download/ 旧版本下载https://repo.continuum.io/archive/ 比如下载Anaconda3-4.4.0-Linux-x86_64.sh 安装用root用户安装完后增加环境变量阅读全文

posted @ 2019-06-06 16:34 潇潇六月雨阅读(786) 评论(0) 推荐(0)

python3 BeautifulSoup模块

摘要：一、安装下载： Python的内置标准库执行速度适中文档容错能力强 Python 2.7.3 or 3.2.2)前的版本中文档容错能力差速度快文档容错能力强需要安装C语言库 BeautifulSoup(markup, ["lxml", "xml"]) BeautifulSoup(mark 阅读全文

posted @ 2019-04-21 10:20 潇潇六月雨阅读(1321) 评论(0) 推荐(0)

python3 urllib 类

摘要：urllib模块中的方法 1.urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法，返回一个文件对象，然后可以进行类似文件对象的操作。本例试着打开google urlopen返回对象提供方法： - read() , readline() ,readlines 阅读全文

posted @ 2019-04-19 17:18 潇潇六月雨阅读(262) 评论(0) 推荐(0)

python 文件读写

摘要：open('name.txt','r',encoding='utf-8') # r 读取文件模式open('name.txt','w',encoding='utf-8') # w 写文件open('name.txt','a',encoding='utf-8') # a 追加文本模式 f = open 阅读全文

posted @ 2019-04-18 23:49 潇潇六月雨阅读(215) 评论(0) 推荐(0)

python 全局变量

摘要：修改全局变量 name = 'jason' def change_name(): global name name = 'Jason' 阅读全文

posted @ 2019-04-18 23:49 潇潇六月雨阅读(138) 评论(0) 推荐(0)

python 装饰器

摘要：实现装饰器知识储备1、函数既“变量”2、高阶函数 a：把一个函数名当做实参传给另一个函数（在不修改被装饰函数源代码的情况下为其添加功能） b：返回值包含函数名(不能修改函数的调用方式)3、嵌套函数高阶函数+嵌套函数 =》装饰器例子： # -*- coding:utf-8 -*-# Author 阅读全文

posted @ 2019-04-18 23:49 潇潇六月雨阅读(101) 评论(0) 推荐(0)

python 字典操作

摘要：创建字典 arr = {'one':{'o':'123'},'two':{'t':'to'}} arr.setdefault('one',{'omg':'o my gud'}) #查看字段是否存在，不存在就创建字典 b = { 'two':{'t':'to'}, 'three' : {'h':'ee 阅读全文

posted @ 2019-04-18 23:48 潇潇六月雨阅读(120) 评论(0) 推荐(0)

python 类

摘要：class NewClassName: #经典类class NewClassName(object): #新式类 *********************************************************************** 构造函数： #类调用时执行 __init_ 阅读全文

posted @ 2019-04-18 23:48 潇潇六月雨阅读(161) 评论(0) 推荐(0)

python 字符串操作

摘要：name.capitalize() 首字母大写name.casefold() 大写全部变小写name.center(50,"-") 输出 ' Alex Li 'name.count('lex') 统计 lex出现次数name.encode() 将字符串编码成bytes格式name.endswith( 阅读全文

posted @ 2019-04-18 23:47 潇潇六月雨阅读(146) 评论(0) 推荐(0)

python 内置方法

摘要：abs() all() #全真返回True 否则False any() #全假返回False 否则True ascii() #返回 bin() #数字转换2进制 bool() #空返回False 否则返回True bytes('str',encoding="utf-8") #不可修改二进制格式二进阅读全文

posted @ 2019-04-18 23:46 潇潇六月雨阅读(105) 评论(0) 推荐(0)

随笔分类 - python