Sun珊珊来迟

摘要： selenium模块 一、介绍 selenium最初是一个自动化的测试工具，而爬虫中使用它主要是为了解决request无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 下面 阅读全文

摘要： request模块 一、介绍 使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） 注意： requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request 阅读全文

摘要： 一、爬虫是什么 如果把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据） 爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序 用户获取网络数据的方式： 浏览器提交请求 下载网页代码 解析成页面。而网页代码中便包含了我们想要的数据 阅读全文

摘要： 反向生成url 一.常规的url系统： from django.conf.urls import url from django.shortcuts import HttpResponse, render, redirect def index(request): return HttpRespon 阅读全文

摘要： admin路由系统本质剖析 在Django中创建一个项目APP时需要在配置文件中的将项目的名字加入如图： 其实在Django中已经有一个文件 apps.py： 所以配置文件我们也可以写成下面的形式： INSTALLED_APPS = [ 'django.contrib.admin', 'django 阅读全文

摘要： popup方法： 一、创建一个页面 1.创建url和视图函数：： from django.shortcuts import render def p1(request): return render(request,'p1.html') urlpatterns = [ url(r'^nb/', v1 阅读全文

摘要： admin自定义配置 一、admin.py 我们知道在models.py文件中创建的数据表，一方面我们可以通过视图函数对其进行增删改查，一方面我们也可以通过admin进行，通常我们是通过admin的前端页面进行增删改查。这里我们在后端admin.py文件中进行。 1.admin.site.regis 阅读全文

摘要： Django基于角色管理ModelForm 一、添加用户： 1.创建两张表： class UserType(models.Model): Job = models.CharField(max_length=32) class UserInfo(models.Model): name = models 阅读全文

摘要： Django数据库操作性能相关 案例: 现在我们的数据库中有两张表如下： 1.职员表： class UserInfo(models.Model): name = models.CharField(max_length=32) pwd = models.CharField(max_length=64) 阅读全文

摘要： 缓存 由于Django是动态网站，所有每次请求均会去数据进行相应的操作，当程序访问量大时，耗时必然会更加明显，最简单解决方式是使用：缓存，缓存将一个某个views的返回值保存至内存或者memcache中，5分钟内再有人来访问时，则不再去执行view中的操作，而是直接从内存或者Redis中之前缓存的内 阅读全文