摘要: Python爬虫框架Scrapy实例(三)数据存储到MongoDB任务目标:爬取豆瓣电影top250,将数据存储到MongoDB中。 items.py文件复制代码# -*- coding: utf-8 -*-import scrapy class DoubanItem(scrapy.Item): # 阅读全文
posted @ 2018-10-20 10:30 三冬三夏 阅读(387) 评论(0) 推荐(0)
摘要: Python迭代和列表生成器时间:2017-09-27 19:14:01 阅读:274 评论:0 收藏:0 [点我收藏+] 标签:其他 模块 rabl 第一个 类型 fit 首字母 表达 log 使用for循环遍历list和tuple,这种遍历成为迭代 在如C语言中都是通过下标拿到值,for...i 阅读全文
posted @ 2018-10-20 10:30 三冬三夏 阅读(266) 评论(0) 推荐(0)
摘要: replace 方法 返回根据正则表达式进行文字替换后的字符串的复制。stringObj.replace(rgExp, replaceText) 参数stringObj必选项。要执行该替换的 String 对象或字符串文字。该字符串不会被 replace 方法修改。 rgExp必选项。为包含正则表达 阅读全文
posted @ 2018-10-20 10:29 三冬三夏 阅读(1203) 评论(0) 推荐(0)
摘要: 命令:re.sub(pattern, repl, string, count=0, flags=0) re.sub 用于替换字符串的匹配项。如果没有匹配到规则,则原字符串不变。 第一个参数:规则 第二个参数:替换后的字符串 第三个参数:字符串 第四个参数:替换个数。默认为0,表示每个匹配项都替换 r 阅读全文
posted @ 2018-10-20 10:29 三冬三夏 阅读(4295) 评论(0) 推荐(0)
摘要: Python异常和异常处理2017年12月20日 22:17:08 Megustas_JJC 阅读数:114 标签: python 异常处理 更多 个人分类: Python 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Megustas_JJC/a 阅读全文
posted @ 2018-10-20 10:28 三冬三夏 阅读(145) 评论(0) 推荐(0)
摘要: Python数据分析库pandas基本操作2017年02月20日 17:09:06 birdlove1987 阅读数:22631 标签: python 数据分析 pandas 更多 个人分类: Python第三方库 所属专栏: python第三方库 pandas是什么? 是它吗?。。。。很显然pan 阅读全文
posted @ 2018-10-20 10:28 三冬三夏 阅读(187) 评论(0) 推荐(0)
摘要: python模块大全2018年01月25日 13:38:55 mcj1314bb 阅读数:3049 pymatgen multidict yarl regex gvar tifffile jupyter scipy gensim pyodbc pyldap fiona aiohttp gpy sci 阅读全文
posted @ 2018-10-20 10:28 三冬三夏 阅读(3837) 评论(0) 推荐(0)
摘要: Python基础第三篇 一、collections系列Counter是对字典类型的补充,用于追踪值的出现次数,具备字典的所有功能 + 自己的功能1.计数器Counter import collectionsa='abababsbsbhh'c=collections.Counter(a) #直接列出每 阅读全文
posted @ 2018-10-20 10:27 三冬三夏 阅读(127) 评论(0) 推荐(0)
摘要: Python基础第二篇 一、三元运算if True: name='a'else: name='b'#上面的代码用三元运算表示:name="a" if True else "b"二、类中方法查看 Python中一切事物都是对象,对象由类创建 type 查看对象类型 dir(类型名) 查看类中提供的所有 阅读全文
posted @ 2018-10-20 10:27 三冬三夏 阅读(118) 评论(0) 推荐(0)
摘要: Python基础第一篇 一、第一句python代码1.python执行过程:1.加载内存-词法分析-语法分析-编译-执行 2.创建hello.py文件,输入内容1 #!/usr/bin/env python2 print "Hello" 执行 hello.py 文件:python hello.py3 阅读全文
posted @ 2018-10-20 10:26 三冬三夏 阅读(110) 评论(0) 推荐(0)
摘要: python发送邮件方法 1、普通文本邮件 #!/usr/bin/env python# -*- coding:utf-8 -*-import smtplibfrom email.mime.text import MIMETextmail_user="xxxx@126.com" #发送邮件的邮箱ma 阅读全文
posted @ 2018-10-20 10:25 三冬三夏 阅读(248) 评论(0) 推荐(0)
摘要: python列表的11种方法2017年11月24日 03:26:43 Milton-Long 阅读数:254版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_40962422/article/details/78620613- appen 阅读全文
posted @ 2018-10-20 10:24 三冬三夏 阅读(155) 评论(0) 推荐(0)
摘要: python列表(list)的使用技巧及高级操作置顶 2018年03月25日 13:39:41 顽劣的石头 阅读数:5478 标签: python extend bisect list enumerate 更多个人分类: python数据分析 Python版权声明:本文为博主原创文章,未经博主允许不 阅读全文
posted @ 2018-10-20 10:24 三冬三夏 阅读(965) 评论(0) 推荐(0)
摘要: python储存数据的方式2017年10月13日 23:38:10 Nick_Spider 阅读数:59286 标签: redis 数据库 爬虫 存储 结构 更多 个人分类: 数据库 爬虫 python 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net 阅读全文
posted @ 2018-10-20 10:23 三冬三夏 阅读(886) 评论(0) 推荐(0)
摘要: python之pandas用法大全 更新时间:2018年03月13日 15:02:28 投稿:wdc 我要评论 本文讲解了python的pandas基本用法,大家可以参考下 一、生成数据表1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:?12import numpy as 阅读全文
posted @ 2018-10-20 10:22 三冬三夏 阅读(849) 评论(0) 推荐(0)
摘要: python之pandas简单介绍及使用(一) 一、 Pandas简介1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工 阅读全文
posted @ 2018-10-20 10:22 三冬三夏 阅读(523) 评论(0) 推荐(0)
摘要: python中字符串的操作方法大全 更新时间:2018年06月03日 10:08:51 作者:骏马金龙 我要评论这篇文章主要给大家介绍了关于python中字符串操作方法的相关资料,文中通过示例代码详细介绍了关于python中字符串的大小写转换、isXXX判断、填充、子串搜索、替换、分割、join以及 阅读全文
posted @ 2018-10-20 10:21 三冬三夏 阅读(195) 评论(0) 推荐(0)
摘要: Python中常见字符串去除空格的方法总结 1:strip()方法,去除字符串开头或者结尾的空格>>> a = " a b c ">>> a.strip()'a b c'2:lstrip()方法,去除字符串开头的空格>>> a = " a b c ">>> a.lstrip()'a b c '3:r 阅读全文
posted @ 2018-10-20 10:21 三冬三夏 阅读(745) 评论(0) 推荐(0)
摘要: python中的pandas的两种基本使用2018年05月19日 16:03:36 木子柒努力成长 阅读数:480 一、pandas简介 pandas:panel data analysis(面板数据分析),是基于numpy 构建的含有更高级数据结构和工具的数据分析包,类似于numpy ,panda 阅读全文
posted @ 2018-10-20 10:21 三冬三夏 阅读(618) 评论(0) 推荐(0)
摘要: 1、元组中只包含一个元素时,需要在元素后面添加逗号来消除歧义 tup1=(50,) 2、元组中的元素值使不允许修改的,但可以对元组进行连接组合复制代码 1 tup1=(12,34.56)2 tup2=('abc','xyz')3 4 tup1[0]=100 #非法操作,元组中的元素是不允许被修改的5 阅读全文
posted @ 2018-10-20 10:20 三冬三夏 阅读(196) 评论(0) 推荐(0)
摘要: python—面向对象编程 面向对象编程简单来说就是基于对 类 和 对象 的使用,所有的代码都是通过类和对象来实现的编程就是面向对象编程!面向对象的三大特性:封装、继承、多态首先创建一个类#使用class创建一个School类,类中有个student方法class School: def stude 阅读全文
posted @ 2018-10-20 10:19 三冬三夏 阅读(109) 评论(0) 推荐(0)
摘要: python中lambda的用法2016年03月25日 11:25:18 有腹肌的小蝌蚪_ 阅读数:41985 一、lambda函数也叫匿名函数,即,函数没有具体的名称。先来看一个最简单例子: def f(x):return x**2print f(4) Python中使用lambda的话,写成这样 阅读全文
posted @ 2018-10-20 10:19 三冬三夏 阅读(736) 评论(0) 推荐(0)
摘要: Python—装饰器 装饰器1.普通函数 #简单的函数和调用def a1(): print("i am zhangsan")def a2(): print("i am lisi")a1()a2() 2.在函数前后添加功能 def inner(func): print("添加1") func() pr 阅读全文
posted @ 2018-10-20 10:18 三冬三夏 阅读(109) 评论(0) 推荐(0)
摘要: Python—进程、线程、协程 一、线程 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务方法: start 线程准备就绪,等待CPU调度 setName 设置线程名 阅读全文
posted @ 2018-10-20 10:18 三冬三夏 阅读(124) 评论(0) 推荐(0)
摘要: Python—操作redis Python操作redispython连接方式:点击 下面介绍详细使用1、String 操作 redis中的String在在内存中按照一个name对应一个value来存储set() #在Redis中设置值,默认不存在则创建,存在则修改r.set('name', 'zha 阅读全文
posted @ 2018-10-20 10:17 三冬三夏 阅读(237) 评论(0) 推荐(0)
摘要: Python—模块 一、模块模块,是用一堆代码实现了某个功能的代码集合,模块分为三种:自定义模块(自己定义)、内置模块(python自带)、开源模块导入模块(1)、导入一个py文件,解释器解释该py文件(2)、导入一个包,解释器解释该包下的 __init__.py 文件 #模块导入import mo 阅读全文
posted @ 2018-10-20 10:17 三冬三夏 阅读(101) 评论(0) 推荐(0)
摘要: Python—Socket Socket模块socket通常也称作"套接字",用于描述IP地址和端口,是特定网络协议如TCP/IP、UDP/IP套件对网络应用程序提供者提供的当前可移植标准的对象,用来连接后进行数据的发送和接收一、套接字格式socket=socket.socket(familly,t 阅读全文
posted @ 2018-10-20 10:16 三冬三夏 阅读(102) 评论(0) 推荐(0)
摘要: python-练习—计算器 一、要求传入字符串,计算结果string='1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )' 二、实现思路1、先去除字符串内的空格。2、然 阅读全文
posted @ 2018-10-20 10:15 三冬三夏 阅读(345) 评论(0) 推荐(0)
摘要: Python—I-O多路复用 一、I/O多路复用概念: 监听多个描述符的状态,如果描述符状态改变,则会被内核修改标志位,从而被进程获取进而进行读写操作 二、select,poll,epollselect模块,提供了:select、poll、epoll三个方法,分别调用系统的 select,poll, 阅读全文
posted @ 2018-10-20 10:15 三冬三夏 阅读(108) 评论(0) 推荐(0)
摘要: Python—redis 一、redis redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持p 阅读全文
posted @ 2018-10-20 10:15 三冬三夏 阅读(96) 评论(0) 推荐(0)
摘要: python-基本方法《Python数据分析常用手册》一、NumPy和Pandas篇 一、常用链接:1.Python官网:https://www.python.org/2.各种库的whl离线安装包:http://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-l 阅读全文
posted @ 2018-10-20 10:14 三冬三夏 阅读(564) 评论(0) 推荐(0)
摘要: python--Selenium-模拟浏览器基本使用from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom 阅读全文
posted @ 2018-10-20 10:12 三冬三夏 阅读(179) 评论(0) 推荐(0)
摘要: python--selenium简单模拟百度搜索点击器 发布时间:2018-02-28 来源:网络 上传者:用户 关键字: selenium 模拟 简单 点击 搜索 百度 发表文章摘要:用途:简单模拟用户点击百度搜索结果页,可延展为点击竞价,SEO作弊等多种功能所需module:selenium,t 阅读全文
posted @ 2018-10-20 10:12 三冬三夏 阅读(1036) 评论(0) 推荐(0)
摘要: 关于selenium实现滑块验证 python2.7+selenium2实现淘宝滑块自动认证参考链接:https://blog.csdn.net/ldg513783697/article/details/51583641 selenium、python模拟登陆淘宝 参考链接:https://blog 阅读全文
posted @ 2018-10-20 10:11 三冬三夏 阅读(1337) 评论(0) 推荐(0)
摘要: python 读写、创建 文件的方法(必看) 更新时间:2016年09月12日 10:26:41 投稿:jingxian 我要评论下面小编就为大家带来一篇python 读写、创建 文件的方法(必看)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧 python中对文件、 阅读全文
posted @ 2018-10-20 10:10 三冬三夏 阅读(310) 评论(0) 推荐(0)
摘要: Python 爬虫的工具列表大全 这个列表包含与网页抓取和数据处理的Python库。网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库(基于pycurl)。 pycurl – 网络库(绑定libcurl)。 urllib3 – Python HT 阅读全文
posted @ 2018-10-20 10:09 三冬三夏 阅读(281) 评论(0) 推荐(0)
摘要: 爬虫框架存储pymysql方式# -*- coding: utf-8 -*-import pymysql# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES settin 阅读全文
posted @ 2018-10-20 10:08 三冬三夏 阅读(267) 评论(0) 推荐(0)
摘要: Python 数据处理库 pandas 入门教程2018/04/17 · 工具与框架 · Pandas, Python 原文出处: 强波的技术博客 pandas是一个Python语言的软件包,在我们使用Python语言进行机器学习编程的时候,这是一个非常常用的基础编程库。本文是对它的一个入门教程。p 阅读全文
posted @ 2018-10-20 10:07 三冬三夏 阅读(256) 评论(0) 推荐(0)
摘要: python 爬虫数据存入csv格式方法 命令存储方式:scrapy crawl ju -o ju.csv 第一种方法:with open("F:/book_top250.csv","w") as f: f.write("{},{},{},{},{}\n".format(book_name ,rat 阅读全文
posted @ 2018-10-20 10:07 三冬三夏 阅读(1702) 评论(0) 推荐(0)
摘要: Python 字符串操作方法大全 1、去空格及特殊符号复制代码代码如下:s.strip().lstrip().rstrip(',') 2、复制字符串复制代码代码如下:#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'p 阅读全文
posted @ 2018-10-20 10:06 三冬三夏 阅读(120) 评论(0) 推荐(0)
摘要: Python 字符串常用方法总结 明确:对字符串的操作方法都不会改变原来字符串的值 1,去掉空格和特殊符号 name.strip() 去掉空格和换行符 name.strip('xx') 去掉某个字符串 name.lstrip() 去掉左边的空格和换行符 name.rstrip() 去掉右边的空格和换 阅读全文
posted @ 2018-10-20 10:05 三冬三夏 阅读(172) 评论(0) 推荐(0)
摘要: Python 字典(Dictionary)操作详解 Python字典是另一种可变容器模型,且可存储任意类型对象,如字符串、数字、元组等其他容器模型。一、创建字典字典由键和对应值成对组成。字典也被称作关联数组或哈希表。基本语法如下: dict = {'Alice': '2341', 'Beth': ' 阅读全文
posted @ 2018-10-20 10:04 三冬三夏 阅读(235) 评论(0) 推荐(0)
摘要: python 列表排序方法sort、sorted技巧篇 Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。 1)排序基础 简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list,新的li 阅读全文
posted @ 2018-10-20 10:03 三冬三夏 阅读(559) 评论(0) 推荐(0)
摘要: Python 内编写类的各种技巧和方法 简介 有关 Python 内编写类的各种技巧和方法(构建和初始化、重载操作符、类描述、属性访问控制、自定义序列、反射机制、可调用对象、上下文管理、构建描述符对象、Pickling)。 你可以把它当作一个教程,进阶,或者使用参考;我希望它能够成为一份针对 Pyt 阅读全文
posted @ 2018-10-20 10:01 三冬三夏 阅读(1635) 评论(0) 推荐(0)
摘要: try..except 这个用于当异常出现的时候,用except从句来处理异常,而不至于程序自动退出。例如,在python里获取用户输入时,若用户输入文件结束符Ctrl-d,则会引发EOFError文件结束异常。我们使用try except来处理: #!/usr/bin/python# Filena 阅读全文
posted @ 2018-10-20 10:00 三冬三夏 阅读(279) 评论(0) 推荐(0)
摘要: python 一次创建多级目录沙漠骆驼:qq音乐import osos.mkdirs('/home/user/app') 阅读全文
posted @ 2018-10-20 09:59 三冬三夏 阅读(2103) 评论(0) 推荐(0)
摘要: python map 常见用法2017年02月01日 19:32:41 淇怪君 阅读数:548版权声明:欢迎转载,转载请注明出处 https://blog.csdn.net/Tifficial/article/details/54810083 list 合并12345678 >>> list1 = 阅读全文
posted @ 2018-10-20 09:58 三冬三夏 阅读(186) 评论(0) 推荐(0)
摘要: Python pandas快速入门2017年03月14日 17:17:52 青盏 阅读数:14292 标签: python numpy 数据分析 更多 个人分类: machine learning 来自官网十分钟教学 Pandas的主要数据结构:DimensionsNameDescription1S 阅读全文
posted @ 2018-10-20 09:58 三冬三夏 阅读(336) 评论(0) 推荐(0)
摘要: python 3.x 字典的11种方法2017年11月25日 01:02:11 Milton-Long 阅读数:535 标签: python python字典方法 更多个人分类: python-学习之路版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ 阅读全文
posted @ 2018-10-20 09:57 三冬三夏 阅读(249) 评论(0) 推荐(0)
摘要: 1、IPython python入门 IPython是一个基于Python Shell的交互式解释器,但是有比默认Shell强大得多的编辑和交互功能。IPython 提供了如下特性: 更强的交互 shell(基于 Qt 的终端) 一个基于浏览器的记事本,支持代码,纯文本,数学公式,内置图表和其他富媒 阅读全文
posted @ 2018-10-20 09:56 三冬三夏 阅读(291) 评论(0) 推荐(0)