摘要:
微博搜索爬虫 网页分析 由于网页端反爬虫机制比较完善所以才去移动端进行爬虫。 url地址:https://m.weibo.cn/ 搜索框,输入关键词进行搜索 对网页进行抓包,找到相关数据 查看数据是否与网页的内容相同 分析多组数据的请求头 编写程序 构造url地址 通过网页分析构造url地址对,地址 阅读全文
posted @ 2021-03-09 16:53
Hp_mzx
阅读(1376)
评论(0)
推荐(0)
摘要:
Scrapy爬虫框架 安装Scrapy pip install scrapy 安装后测试 执行 scrapy -h 注意: 1.在ubyntu 上安装 scrapy 之前,需要先安装以下依赖: sudo apt-get install python-dev python-pip libxm12-de 阅读全文
posted @ 2021-03-09 16:50
Hp_mzx
阅读(77)
评论(0)
推荐(0)
摘要:
Beautiful Soup库 Beautiful Soup库:https://www.crummy.com/software/BeautifulSoup/ 安装Beautiful Soup: 使用Beautiful Soup库 from bs4 import BeautifulSoup #这里的B 阅读全文
posted @ 2021-03-09 16:49
Hp_mzx
阅读(133)
评论(0)
推荐(0)
摘要:
Selenium库 自动化测试工具,支持多种游览器 爬虫中主要用来解决JavaScript渲染的问题 安装Selenium pip3 install selenium 安装游览器驱动 下载驱动地址:https://github.com/mozilla/geckodriver/releases/ 用法 阅读全文
posted @ 2021-03-09 16:48
Hp_mzx
阅读(109)
评论(0)
推荐(0)
摘要:
Requests库 Requests库:http://www.python-requests.org 安装requests库 requests库的7个主要方法 方法说明 requests.request() 构造一个请求,支撑以下各方法的基础 requests.get() 获取HTML网页的主要方法 阅读全文
posted @ 2021-03-09 16:47
Hp_mzx
阅读(144)
评论(0)
推荐(0)
摘要:
Redis数据库 Redis简介 Redis是一个高性能的key-value数据存储格式的内存缓存,NoSQL数据库。(非关系型数据库) 非关系型数据库 1. 没有数据表的概念,不同的nosql数据库存放数据位置不同 2. nosql数据库没有通用的操作语言 3. 基本不支持事务。(redis支持简 阅读全文
posted @ 2021-03-09 16:44
Hp_mzx
阅读(92)
评论(0)
推荐(0)
摘要:
Navicat可视化MySQL数据库 Navicat内部封装了所有的操作数据库的命令,用户只需要点击操作即可,无需书写sql语句。 navicat能够充当多个数据库的客户端。 具体操作参考百度。 pymysql模块 连接数据库以及sql语句的使用 import pymysql # 连接数据库 con 阅读全文
posted @ 2021-03-09 16:43
Hp_mzx
阅读(275)
评论(0)
推荐(0)
摘要:
存储引擎 文件格式有很多种,针对不同的文件格式会有对应的不同存储方式和处理机制。 针对不同的数据应该有对应的不同处理机制来存储。 存储引擎就是不同的处理机制 MySQL主要的存储引擎 Innodb 是MySQL5.5版本之后默认的存储引擎 存储数据更加安全 myisam 是MySQL5.5版本之前默 阅读全文
posted @ 2021-03-09 16:41
Hp_mzx
阅读(186)
评论(0)
推荐(0)
摘要:
服务器安装mysql遇到的坑 一、CentOS7安装MySQL 1、下载:MySQL官方的 Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 2、安装 Yum 阅读全文
posted @ 2021-03-09 16:36
Hp_mzx
阅读(88)
评论(0)
推荐(0)
摘要:
数据库 存储数据的演变 随意存储到文件中,数据格式也是千差万别。 软件开发目录规范 限制存储数据的具体位置 ''' bin 启动文件 conf 配置文件 core 业务逻辑,核心代码 db 存储数据 lib 公共方法 readme.text ''' 假设上述的是单机游戏 每个人的游戏记录只能保存在自 阅读全文
posted @ 2021-03-09 16:34
Hp_mzx
阅读(95)
评论(0)
推荐(0)
摘要:
Mysql 问题 1.root管理员密码忘记或管理员用户被误删除(drop user root@'localhost';) 1.停库 systemctl stop mysqld 或 service mysqld stop 2.启动安全模式 mysqld_safe --skip-grant-table 阅读全文
posted @ 2021-03-09 16:23
Hp_mzx
阅读(71)
评论(0)
推荐(0)
摘要:
验证码图片生成 #!/usr/bin/env python # -*- coding: utf-8 -*- # refer to `https://bitbucket.org/akorn/wheezy.captcha` import random import string import os.pa 阅读全文
posted @ 2021-03-09 16:18
Hp_mzx
阅读(139)
评论(0)
推荐(0)
摘要:
构建flask项目步骤 步骤一:构建基础项目框架 创建manage.py文件 from flask import Flask app = Flask(__name__) """ 配置信息 """ """ 数据库 """ @app.route("/index") def index(): return 阅读全文
posted @ 2021-03-09 16:16
Hp_mzx
阅读(742)
评论(0)
推荐(0)
摘要:
Flask框架 Flask与Django的区别 Django是一个大而全的框架,Flask是一个轻量级的框架。 Django内部提供给非常多的组件:orm、session、cookie、admin、form、modelform、路由、视图、模板、中间件、分页、auth、contenttype、缓存、 阅读全文
posted @ 2021-03-09 16:08
Hp_mzx
阅读(103)
评论(0)
推荐(0)
摘要:
微信小程序开发 环境搭建 申请一个微信公众平台 地址:https://mp.weixin.qq.com/ 保存自己的appid wxc9ee81ed63a565eb 下载开发者工具 地址:https://developers.weixin.qq.com/miniprogram/dev/devtool 阅读全文
posted @ 2021-03-09 16:05
Hp_mzx
阅读(344)
评论(0)
推荐(0)
摘要:
Django框架 下载 命令行 pip install django==1.11.29 -i https://pypi.tuna.tsinghua.edu.cn/simple pycharm 创建项目 命令行 django-admin startproject 项目名称 pycharm 点击文件-> 阅读全文
posted @ 2021-03-09 15:56
Hp_mzx
阅读(123)
评论(0)
推荐(0)
摘要:
python 知识点 判断字符串是否是纯数字:isdigit() name = '123' if name.isdigit(): print("是数字") else: exit("不是数字") # exit()退出程序 枚举列表:enumerate() 把列表的元素列举出来 a = [12,23,4 阅读全文
posted @ 2021-03-09 15:37
Hp_mzx
阅读(113)
评论(0)
推荐(0)
摘要:
多道技术 并发:看起来像同时运行 并行:真正意义上的同时运行,并行肯定是并发 空间的复用与时间复用 空间复用 多个程序用一套计算机硬件 时间复用 程序切换节省时间 ''' 切换(cup)分为两种情况 1.当一个程序遇到IO操作的时候,操作系统会剥夺该程序的CPU执行权限 作用:提高CPU的利用率,并 阅读全文
posted @ 2021-03-09 15:35
Hp_mzx
阅读(92)
评论(0)
推荐(0)
摘要:
空间名称与闭包函数 名称空间 名称空间 namespaces:存放名字的地方,是对栈区的划分 名称空间在栈区中分为三种,详细的划分不同的空间,不同空间可以存放相同名字的名字 内置名称空间 存放的名字:存放的python解析器内置的名字 存活周期:python解析器启动则产生,python解析器关闭则 阅读全文
posted @ 2021-03-09 15:33
Hp_mzx
阅读(76)
评论(0)
推荐(0)
摘要:
面向对象编程 了解 面向过程: 核心是 “ 过程 ”,过程的核心思想是将程序流程化 过程是 “ 流水线 ”,用来分步骤解决问题 面向对象: 核心是 “ 对象 ”,对象的核心思想就是将程序 整合 对象是 “ 容器 ”,用来存储数据与功能 程序 = 数据 + 功能 类与对象 类也是容器,该容器存放同类对 阅读全文
posted @ 2021-03-09 15:31
Hp_mzx
阅读(96)
评论(0)
推荐(0)