[置顶] 向mysql插入数据报错 pymysql.err.DataError: (1406, "Data too long for column 'class' at row 1") 解决方案
摘要： 这个问题一开始更换数据类型或者数据类型的大小，发现还是不行。后面通过网上查询了一条神奇的sql语句分分钟钟的解决了 问题原因明明是： 字段的长度不够存放数据 解决方案： 在mysql命令行输入如下：SET @@global.sql_mode=''; 一针见血 阅读全文
posted @ 2021-04-18 15:39 人生努力努力努力就好 阅读(627) 评论(0) 推荐(0)
2024年3月20日
爬取拉勾网职位信息
摘要： https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=py https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=fa 阅读全文
posted @ 2024-03-20 16:09 人生努力努力努力就好 阅读(31) 评论(0) 推荐(0)
2024年1月25日
使用CrawlSpider类抓取纵横小说网页内容
摘要： 第一节课： 一：根据page页面解析出book_url 二： 解析来的response (book_url) 并不是交给parse_item方法，而是交给了上面的rules处理,然后通过LinkExtractor提取静态页面数据url,url形成一个新的请求交给引擎，引擎一顿操作给到callback 阅读全文
posted @ 2024-01-25 19:00 人生努力努力努力就好 阅读(42) 评论(0) 推荐(0)
2023年12月12日
Scrapy框架的运用，获取豆瓣电影信息-02
摘要： 第一节：豆瓣电影信息的爬取 1.分析源码 page页面：https://www.douban.com/doulist/3936288/ 关键源码截图： 外部div: <div class="bd doulist-subject"> <div class="doulist-video-items"> 阅读全文
posted @ 2023-12-12 20:06 人生努力努力努力就好 阅读(158) 评论(0) 推荐(0)
2023年11月28日
scrapy 框架的安装及流程-01
摘要： 一、简介 scrapy的优势： 1、为了更利于我们将精力集中在请求与解析上 2、企业级的要求，效率高 二、模块安装 scrapy支持Python2.7和python3.4以上版本 1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的 阅读全文
posted @ 2023-11-28 21:12 人生努力努力努力就好 阅读(115) 评论(0) 推荐(0)
2023年11月24日
豆瓣电影top250爬取
摘要： 第一部分：实现方法 通过requests+xpath实现豆瓣电影top250一些信息的爬取 第二部分：思路、分析过程 1.浏览器输入豆瓣电影top250 2.打开主页面，显示有20条电影信息数据 page_url=https://m.baidu.com/sf?pd=topone_multi&top= 阅读全文
posted @ 2023-11-24 09:42 人生努力努力努力就好 阅读(223) 评论(0) 推荐(0)
2023年11月17日
网页解析_xpath-02
摘要： 第一部分：简介 原理跟soup一样，都是把html字符串转换成标签对象,像选择路径一样选择标签。 第二部分：代码块 1：公共代码部分 from lxml import etree # 导包 <html> <head> <title>爬虫</title> <meta charset="utf-8"> 阅读全文
posted @ 2023-11-17 14:20 人生努力努力努力就好 阅读(41) 评论(0) 推荐(0)
2023年11月15日
网页解析_bs4-01
摘要： 一：简介 1.BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，它的使用方式相对于正则来说更加的简单方便，常常能够节省我们大量的时间。 2.BeautifulSoup的安装也是非常方便的，pip安装即可。 pip install beautifulsoup4 3 阅读全文
posted @ 2023-11-15 19:26 人生努力努力努力就好 阅读(45) 评论(0) 推荐(0)
2023年11月9日
selenium 安装及使用
摘要： 一：序言 selenium 是一个web自动化工具 1.自动化测试 通过它，我们可以写出自动化程序，模拟浏览器里操作web界面。 比如点击界面按钮，在文本框中输入文字 等操作。 2.获取信息(就是爬虫) 而且还能从web界面获取信息。 比如招聘网站职位信息，财经网站股票价格信息 等等，然后用程序进行 阅读全文
posted @ 2023-11-09 19:18 人生努力努力努力就好 阅读(126) 评论(0) 推荐(0)
2023年10月26日
1
摘要： 爱生活，善求知，忧天下，有作为。 阅读全文
posted @ 2023-10-26 18:34 人生努力努力努力就好 阅读(10) 评论(0) 推荐(0)
2023年9月29日
函数基础和函数参数
摘要： 第一部分：函数基础 函数的作用意义： 1.为了更好地管理代码，可能对应的代码块需要重复多次使用，所以通过一个函数封装起来，便于下次直接调用 2.方法实际上是通过函数实现的 例1： # type() # 内置函数 def lis(): li=[1,2,3] li.append(4) li.pop(2) 阅读全文
posted @ 2023-09-29 19:23 人生努力努力努力就好 阅读(351) 评论(0) 推荐(2)