S++

python爬虫-selenium模拟登录

摘要：模拟登录qq空间：有iframe、无验证码 """ selenium模拟登录QQ空间：有iframe、无验证码 """ from selenium import webdriver from selenium.webdriver import ActionChains from selenium.w 阅读全文

posted @ 2022-03-21 21:12 S++ 阅读(821) 评论(0) 推荐(0)

mybatis-动态SQL

摘要：前言动态 SQL 是 MyBatis 的强大特性之一。如果你使用过 JDBC 或其它类似的框架，你应该能理解根据不同条件拼接 SQL 语句有多痛苦，例如拼接时要确保不能忘记添加必要的空格，还要注意去掉列表最后一个列名的逗号。利用动态 SQL，可以彻底摆脱这种痛苦。使用动态 SQL 并非一件易事，阅读全文

posted @ 2022-03-21 10:42 S++ 阅读(50) 评论(0) 推荐(0)

mybatis-高级结果映射

摘要：前言 mybatis对于简单的表可以通过resultType直接返回结果，如果是复杂的多张表查询结果就需要用到resultMap了。记住 resultType 和 resultMap 之间只能同时使用一个。官方介绍结果映射高级结果映射举例 1. 创建三张有关联的表这三张表分别是： stude 阅读全文

posted @ 2022-03-21 09:08 S++ 阅读(107) 评论(0) 推荐(0)

python爬虫-深入selenium模块

摘要：更多的selenium自动化操作我们之前尝试了如何使用selenium操作浏览器，但是并没有更多的去使用。其实我们可以使用selenium去做更多的事情，如搜索、点击按钮、滚动页面等等下面我们以淘宝网为例来实现一下 """ selenium模块的更多自动化操作: - 搜索 - 点击 - 滚动阅读全文

posted @ 2022-03-19 17:17 S++ 阅读(77) 评论(0) 推荐(0)

python爬虫-初识selenium模块

摘要：前言我们之前做过一些数据是动态加载的爬取案例，如：练习request模块中的综合案例练习异步爬虫中的爬取梨视频热门音乐板块这些动态数据从何加载而来是需要我们通过浏览器抓包工具来找到的。此外，我们还做过一些模拟登陆的例子。获取登录按钮链接的post请求来登录用户。如果有那么一个模块，能够帮阅读全文

posted @ 2022-03-18 21:44 S++ 阅读(87) 评论(0) 推荐(0)

mybatis-注解开发

摘要：使用注解开发的好处简化了xml文件的配置、小项目中使用注解反而提供了开发效率、注解相对于XML的另一个好处是类型安全的，XML只能在运行期才能发现问题。（但是mybatis并不建议使用注解开发，因为使用注解来映射简单的语句会让代码更加简洁，但是对于复杂的语句，注解就力不从心了。写注解不便于维护。阅读全文

posted @ 2022-03-18 08:41 S++ 阅读(36) 评论(0) 推荐(0)

python爬虫-异步协程

摘要：协程 1. 什么是协程协程并不是计算机本身提供，而是由程序员人为创造。协程也可以被称为微线程。是一种用户态上下文切换的技术。简而言之就是一个线程来回切换执行代码块。协程实现的方法：现在主要推荐使用async和await关键字来实现（py3.6） 2. 协程的意义在一个线程中，如果遇到IO等待阅读全文

posted @ 2022-03-17 19:23 S++ 阅读(145) 评论(0) 推荐(0)

python爬虫-异步爬虫

摘要：前言 **异步爬虫的目的：**提高数据爬取的性能和效率异步爬虫的方式多线程/多进程为相关阻塞的操作单独开启线程或进程，使得阻塞操作可以异步执行。但是由于资源有限，我们并不能无限制的开启多线程或多进程。线程池/进程池可以降低系统为了创建和销毁线程或进程而产生的开销。但是池中的线程或进程仍然是阅读全文

posted @ 2022-03-17 18:08 S++ 阅读(239) 评论(0) 推荐(0)

mybatis-结果映射

摘要：介绍 resultMap 元素是 MyBatis 中最重要最强大的元素。它可以让你从 90% 的 JDBC ResultSets 数据提取代码中解放出来，并在一些情形下允许你进行一些 JDBC 不支持的操作。实际上，在为一些比如连接的复杂语句编写映射代码的时候，一份 resultMap 能够代替阅读全文

posted @ 2022-03-16 08:56 S++ 阅读(64) 评论(0) 推荐(0)

python爬虫-cookie登录

摘要： http/https协议的特性：无状态模拟登录之后仍然没有请求到对应页面的信息是因为发起第二次基于个人页面的请求时，服务器端并不知道还请求是基于用户登录的请求 cookie：用来让服务器端记录客户端相关状态那么解决这个问题就可以有下面两种方法：手动Cookie方法（利用浏览器抓包工具获取Co 阅读全文

posted @ 2022-03-15 08:53 S++ 阅读(373) 评论(0) 推荐(0)

导航

公告