随笔分类 -  python爬虫

上一页 1 2
selenium 模拟键盘事件 复制粘贴、右键、回车等
摘要：#coding=utf-8 ''' selenium ''' from selenium import webdriver as wd import time bc=wd.Chrome(executable_path='f:\\chromedriver') #bc=wd.Ie(executable_ 阅读全文
posted @ 2020-04-08 19:50 凯帅 阅读(1296) 评论(0) 推荐(0)
aiohttp使用详解
摘要：aiohttp分为服务器端和客户端，本文只介绍客户端。由于上下文的缘故，请求代码必须在一个异步的函数中进行： async def fn(): pass 安装 pip install aiohttp 基本语法 async with aiohttp.request('GET','https://gith 阅读全文
posted @ 2020-04-04 17:14 凯帅 阅读(16361) 评论(2) 推荐(0)
python生成exe文件并写入表格，打包开多进程出现问题和解决办法
摘要：import datetimenow = datetime.datetime.now()print("当前系统日期是：")print(now.strftime("%Y-%m-%d %H:%H:%M:%S"))a = input("请输入你的姓名：")print(a)input()# 1.第一步安装三 阅读全文
posted @ 2020-03-30 22:59 凯帅 阅读(811) 评论(0) 推荐(0)
chrome浏览器SwitchyOmega安装与使用
摘要：一、安装 打开 https://github.com/FelisCatus/SwitchyOmega/releases 下载 下载之后后缀crx改成zip，解压到文件夹 chrome浏览器打开扩展程序，加载已解压的扩展程序，选择SwitchyOmega_Chromium，显示一个错误，不用管，安装完 阅读全文
posted @ 2020-03-30 16:27 凯帅 阅读(15931) 评论(0) 推荐(1)
爬虫scrapt框架
摘要：**1.创建项目：**D:\code\客户>scrapy startproject bokeyuan **2.创建域名：**D:\code\客户\bokeyuan>scrapy genspider bokeyuanspider cnblogs.com *** 注意进入目录后创建，而且不要和项目名同名 阅读全文
posted @ 2019-11-28 18:46 凯帅 阅读(934) 评论(0) 推荐(0)
selenium模块，模拟浏览器操作
摘要：一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文
posted @ 2019-11-26 16:14 凯帅 阅读(762) 评论(0) 推荐(0)
beautifulsoup解析模块
摘要：一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找, 修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautif 阅读全文
posted @ 2019-11-26 16:07 凯帅 阅读(265) 评论(0) 推荐(0)
请求库之requests
摘要：一、介绍 # 介绍：使用requests可以模拟浏览器使用 # 安装：pip3 install requests # 各种请求的方式：常用requests.get()和requests.post() 二、基于GET请求 1.基本请求 import requests # res=requests.ge 阅读全文
posted @ 2019-11-26 15:28 凯帅 阅读(235) 评论(0) 推荐(0)
爬虫基本原理
摘要：01-01爬虫基本原理 一 爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间 阅读全文
posted @ 2019-11-26 15:00 凯帅 阅读(172) 评论(0) 推荐(0)

上一页 1 2