Wualin

摘要： Golang数组 数组的切片： 基于数组切片创建数组切片与 copy的使用 阅读全文

摘要： 环境： windows 7 64位 python 3.6.5 32位 oracle客户端11.2 32位 django1.11.20 (django2.x版本不支持oracle客户端11g了) cx_oracle 6.0 32位 在搭建环境的的时候python、oracle客户端、cx_oracle 阅读全文

摘要： ``` from django import forms from . import models class UserInfoModelForms(forms.ModelForm): class Meta: model = models.UserInfo fields = "__all__" def __init__(self,*args,**k... 阅读全文

摘要： ``` # 保存python3环境下安装的所有模块 $ pip3 freeze > requirements.txt # 保存当前项目中所依赖的模块 $ pipreqs ./ 依赖模块保存在：requirements.txt ``` 阅读全文

摘要： 今天在写客户管理系统的时候遇到了一个特别傻帽的bug，卡在这个bug几个小时，错误如下： 一开始以为是ModelForm错误了，一直在找ModelForm的错误，后来去检查数据库表的，发现一个字段设置了limit_choices_to={}，字典内没有传任何值，删掉limit_choices_to就 阅读全文

摘要： 在scrapy中使用selenium 在scrapy中需要获取动态加载的数据的时候，可以在下载中间件中使用selenium 编码步骤： 1. 在爬虫文件中导入webdrvier类 2. 在爬虫文件的爬虫类的构造方法中进行浏览器实例化的操作 3. 在爬虫类close方法中进行浏览器关闭的操作 4. 在 阅读全文

摘要： scrapy框架的简介和基础使用 概念：为来爬取网站数据而编写的一款应用框架，集成了相应的功能且具有很强通用型的项目模版 功能:scrapy框架提供了高性能的异步下载、解析、持久化存储操作... scrapy核心组件 引擎(Scrapy) 用来处理整个系统的数据流处理，出发事物(框架核心) 调度器( 阅读全文

摘要： 云打码平台处理验证码的实现流程： 1. 对携带验证码的页面数据进行抓取 2. 可以将页面数据中验证码进行解析，验证码图片下载到本地 3. 可以将验证码图片提交给三方平台进行识别，返回验证码图片上的数据值 调用云打码平台api破解验证码进行豆瓣电影登陆 import discern_code 获取验证 阅读全文

摘要： 处理页面动态加载的爬取 selenium selenium是python的一个第三方库，可以实现让浏览器完成自动化的操作，比如说点击按钮拖动滚轮等 环境搭建： 安装:pip install selenium 获取浏览器的驱动程序：下载地址http://chromedriver.storage.goo 阅读全文

摘要： 今天在爬取58同城租房信息的时候发现58同城中的价格在html文档中是以乱码的，但是在页面中是正常显示 字体加密是爬取网页的过程中比较麻烦的问题。 字体加密一般是网页修改了默认的字符编码集，在网页上加载的他们自己定义的字体文件作为字体的样式，可以正确地显示数字，但是在源码上同样的二进制数由于未加载自 阅读全文