2019 年 12月 22 日随笔档案 - 夜阑i

jquery

摘要： jq 一 jq的引入方式: 1.本地文件引入 <script src="path/jquery-v.js"></script> // 引入本地路径的jq文件 2.CDN链接引入 <script src="https://cdn.bootcss.com/jquery/3.4.0/jquery.js"> 阅读全文

posted @ 2019-12-22 17:11 夜阑i 阅读(520) 评论(0) 推荐(0)

Redis-API

摘要： Redis-API 简介 Redis 是一个基于内存的高效的键值行非关系型数据库，存取效率极高。 python提供了两个类：分别为Redis和StrictRedis来实现Redis的命令操作。Redis是StrictRedis的子类官方推荐使用StrictRedis 如果要做数据导入、导出操作的话阅读全文

posted @ 2019-12-22 17:10 夜阑i 阅读(501) 评论(0) 推荐(1)

Django项目环境搭建

摘要：项目环境搭建 1.基本认知 Web应用框架（Web application framework）是一种开发框架，用来支持动态网站，网络应用程序及网络服务的开发。—— Django 框架： WSGI：Web Server Gateway Interface。服务器网关接口 web框架构成： url路由阅读全文

posted @ 2019-12-22 17:09 夜阑i 阅读(297) 评论(0) 推荐(0)

mysql-API

摘要： mysql-API 事务 mysql事务：操作序列，这个操作要么执行，要么都不执行(工作单位) 支票表:支票账户减少10000 储蓄表:储蓄账户增加10000 特性：事务的4个属性 ACID 1.原子性Atomicity：一个事务是不可分割的最小的工作单位，整个事务要么全部提交成功，要么全部失败阅读全文

posted @ 2019-12-22 17:07 夜阑i 阅读(1483) 评论(0) 推荐(0)

scrapy框架（二）

摘要： scrapy框架（二）一、scrapy 选择器概述： Scrapy提供基于lxml库的解析机制，它们被称为选择器。因为，它们“选择”由XPath或CSS表达式指定的HTML文档的某部分。 Scarpy选择器的API非常小，且非常简单。 Scrapy选择器是通过scrapy.Selector类，阅读全文

posted @ 2019-12-22 17:05 夜阑i 阅读(202) 评论(0) 推荐(0)

Ajax数据爬取

摘要： Ajax数据爬取简介数据加载是异步加载，局部刷新。web开发的前后端分离通常都用Ajax交互，降低了服务器直接渲染页面带来的压力基本原理发送请求解析内容渲染网页其实就是向后端指定接口发送请求，返回数据，渲染页面 JS对Ajax底层的实现，实际上是新建了一个XMLHttpRequest 阅读全文

posted @ 2019-12-22 17:04 夜阑i 阅读(255) 评论(0) 推荐(0)

mongodb-API

摘要： mongodb-API 连接mongo（该操作一般在初始化时就执行）出现由于目标计算机积极拒绝，无法连接的错误时查看是否进行虚拟机的端口转发将 /etc/ 目录下的mongodb.conf 文件 bind_ip修改为 0.0.0.0, 表示任何主机都可以访问重启服务 service mon 阅读全文

posted @ 2019-12-22 17:03 夜阑i 阅读(974) 评论(0) 推荐(0)

scrapy框架(三)

摘要： scrapy框架(三) CrawlSpider类创建CrawlSpider # 创建项目后 $ scrapy genspider -t crawl spider_name website_domain url 就是你想要爬取的网址注意：分析本地文件是一定要带上路径，scrapy shell默阅读全文

posted @ 2019-12-22 17:02 夜阑i 阅读(147) 评论(0) 推荐(0)

Scrapy框架(一)

摘要： Scrapy框架(一) 国内镜像源：阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.doubanio.com/simp 阅读全文

posted @ 2019-12-22 17:01 夜阑i 阅读(208) 评论(0) 推荐(0)

网页解析库-Xpath语法

摘要：网页解析库简介除了正则表达式外，还有其他方便快捷的页面解析工具如：lxml (xpath语法) bs4 pyquery等 Xpath 全称XML Path Language, 即XML路径语言，是一门在XML文档中查找信息的语言，同样也适用于HTML文档的搜索。爬虫我们需要抓取的只是某个网阅读全文

posted @ 2019-12-22 17:00 夜阑i 阅读(795) 评论(0) 推荐(0)

fiddler 抓包工具

摘要： fiddler 抓包工具一、HTTP代理所谓的http代理，其实就是代理客户机的http访问，主要代理浏览器访问页面。代理服务器是介于浏览器和web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服阅读全文

posted @ 2019-12-22 16:58 夜阑i 阅读(612) 评论(0) 推荐(0)

requests第三方库

摘要： requests第三方库简介: requests是一个优雅而简单的Python 第三方HTTP请求库，专为人类而构建。 requests的官方文档同样也非常的完善详尽，而且少见的有中文官方文档：http://cn.python-requests.org/zh_CN/latest/。英文文档：ht 阅读全文

posted @ 2019-12-22 16:56 夜阑i 阅读(835) 评论(0) 推荐(0)

urllib库

摘要： urllib库 HTTP请求库 urllib 是一个用来处理网络请求的python标准库，它包含4个模块。 urllib.requests 请求模块，用于发起网络请求 urllib.parse 解析模块，用于解析URL urllib.error 异常处理模块，用于处理request引起的异常 url 阅读全文

posted @ 2019-12-22 16:54 夜阑i 阅读(681) 评论(0) 推荐(0)

正则表达式 re模块

摘要：正则表达式简介：正则表达式：用来匹配特定规则的字符串。正则表达式是处理字符串的强大工具，有特定的语法结构；实现字符串的检索、替换、匹配验证等。元字符模式描述 . 匹配除换行符之外的任意字符 ^ 匹配开头 $ 匹配结尾 * 匹配任意多个（0个或多个） + 匹配1个或多个（至少一个）？匹配阅读全文

posted @ 2019-12-22 16:53 夜阑i 阅读(440) 评论(0) 推荐(0)

一、爬虫的认识与http

摘要：一、爬虫的认识与http 互联网应用架构一般采用c/s架构，b/s架构或者m/s架构 c/s 即 client server 客户端服务端 b/s 即 browser server 浏览器服务端 m/s 即 moblie server 移动端服务端爬虫的概念网络爬虫也叫网络蜘蛛，它特指阅读全文

posted @ 2019-12-22 16:51 夜阑i 阅读(434) 评论(0) 推荐(0)

linux常用命令补充

摘要： linux补充 apt 是在我们Linux系统安装软件 pip 用来安装python3的模块（第三方库） ps # 查看运行进程（pid） ps aux # 查看全部任务进程 top # 也可以查看进程 htop 美化查看cpu进程 kill pid_id # 结束进程。 python -V 查看版阅读全文

posted @ 2019-12-22 16:50 夜阑i 阅读(230) 评论(0) 推荐(0)

Linux 系统常用命令

摘要： Linux 系统常用命令 1.查看目录 ls 查看当前目录的内容 ls -lsh 查看当前目录的详细信息 ls -alh 查看当前目录的所有文件信息，包括隐藏文件 ls -als | more 分页查看，空格翻。回车下一行。（ls -l ls -a ls -all ll sl小火车） 2.目录跳转阅读全文

posted @ 2019-12-22 16:48 夜阑i 阅读(168) 评论(0) 推荐(0)

导航

2019年12月22日