2018年8月20日
进程和线程的区别
摘要： 进程和线程的区别 进程：指在系统中正在运行的一个应用程序；程序一旦运行就是进程；或者更专业化来说：进程是指程序执行时的一个实例，即它是程序已经执行到课中程度的数据结构的汇集。从内核的观点看，进程的目的就是担当分配系统资源（CPU时间、内存等）的基本单位。 线程：系统分配处理器时间资源的基本单元，或者 阅读全文
posted @ 2018-08-20 21:54 咸鱼9527 阅读(156) 评论(0) 推荐(0)
python3 爬取西祠代理IP数据
摘要： 1 import requests 2 from lxml import etree 3 4 5 # 将可以使用的代理IP的信息存储到文件 6 def write_proxy(proxies): 7 print(proxies) 8 for proxy in proxies: 9 with open("ip_proxy.txt", 'a+')... 阅读全文
posted @ 2018-08-20 21:27 咸鱼9527 阅读(968) 评论(0) 推荐(0)
2018年8月19日
电影天堂电影链接爬取
摘要： 1 import requests,re 2 3 4 def getdetail(url): 5 6 response = requests.get(url) 7 html = response.content.decode('gbk') 8 # 电影详情页标题 9 movie_title_name = re.search('(.*)ft'... 阅读全文
posted @ 2018-08-19 23:09 咸鱼9527 阅读(30617) 评论(0) 推荐(0)
腾讯招聘信息爬取
摘要： 1 import requests 2 from lxml import etree 3 import mysqlhelper 4 5 myhelper = mysqlhelper.MysqlHelper() 6 sql = 'INSERT INTO tenxunzhaoping (title, duty, people_num, address,addtime) VALUES(%... 阅读全文
posted @ 2018-08-19 23:06 咸鱼9527 阅读(251) 评论(0) 推荐(0)
妹子图图片爬取
摘要： 1 import requests 2 from lxml import etree 3 import os 4 from urllib import request 5 import mysqlhelper 6 7 8 myhelper = mysqlhelper.MysqlHelper() 9 sql = 'insert into meizitu(name,pic_ur... 阅读全文
posted @ 2018-08-19 23:05 咸鱼9527 阅读(327) 评论(0) 推荐(0)
我爱我家数据爬取
摘要： 1 import requests 2 from lxml import etree 3 import mysqlhelper 4 5 base_url = 'https://bj.5i5j.com/zufang/huilongguan/n%s/' 6 myhelper = mysqlhelper.MysqlHelper() 7 sql = 'insert into woaiwo... 阅读全文
posted @ 2018-08-19 23:04 咸鱼9527 阅读(263) 评论(0) 推荐(0)
2018年8月17日
今日头条网页图片爬取
摘要： 1 import requests,os,json,re 2 from urllib import request 3 from day3.mysql_text import mysql_conn 4 for i in range(0,60,20): 5 url = 'https://www.toutiao.com/search_content/?offset={}&forma... 阅读全文
posted @ 2018-08-17 00:04 咸鱼9527 阅读(559) 评论(0) 推荐(0)
快乐的正则一只
摘要： 1 # 我 VS 正则 2 3 # 今天我来讲述一下我与正则之间的快乐时光 4 5 # Day1： 6 7 # 首先要导入正则包 8 import re 9 10 # re.match 从头开始向右匹配 匹配到后就结束 11 # re.search 从任意位置开始向右匹配 匹配到后就结束 12 13 14 # 1. ... 阅读全文
posted @ 2018-08-17 00:02 咸鱼9527 阅读(165) 评论(0) 推荐(0)
2018年8月16日
百思不得姐首页爬取
摘要： 1 2 3 4 5 6 7 百思不得姐－内涵段子，冷笑话，搞笑图片，成人笑话，不得姐分享社区，第1页 8 9 10 11 12 13 14 15 16 17 ... 阅读全文
posted @ 2018-08-16 00:42 咸鱼9527 阅读(3226) 评论(0) 推荐(0)
雪球网数据爬取
摘要： 1 import requests 2 import json 3 import pymysql 4 5 class mysql_conn(object): 6 # 魔术方法, 初始化, 构造函数 7 def __init__(self): 8 self.db = pymysql.connect(host='127.0.0.1', user='r... 阅读全文
posted @ 2018-08-16 00:16 咸鱼9527 阅读(1446) 评论(0) 推荐(0)
下一页