摘要: 重点: 1. 链接服务器的数据库 2. 创建表和格式 3. 插入多行数据 import pymysql try: host='xxx' user='xxx' passwd='xxx' db='test01' port=3306 Table_name='kaka5' # 链接到服务器 db = pym 阅读全文
posted @ 2019-08-09 15:02 FishMan552 阅读(483) 评论(0) 推荐(0)
摘要: 什么是csv 逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本) 编码: encode 解码:decode 写读追加状态 'r':读'w':写'a':追加'r+' == r+w(可读可写, 阅读全文
posted @ 2019-08-07 16:48 FishMan552 阅读(712) 评论(0) 推荐(0)
摘要: 用于XPath 爬取网页结构的时候使用, 安装后 快捷键调用 左边 ctrl+ shift+x 启动 安装流程: 1. 打开chrome浏览器,扩展程序 。搜索 XPath Helper 下载安装(前提需要梯子,因为这个是属于goolge商店应用) 有这个显示就是安装成功了 2. 点击详情,勾选隐身 阅读全文
posted @ 2019-08-07 10:55 FishMan552 阅读(1120) 评论(0) 推荐(0)
摘要: import pandas as pd import requests from bs4 import BeautifulSoup import time def spider(url, headers): print("正在抓取url: " + url) datas = requests.get( 阅读全文
posted @ 2019-08-06 16:56 FishMan552 阅读(1389) 评论(0) 推荐(0)
摘要: 反爬中有一个使用随机代理的 阅读全文
posted @ 2019-07-31 17:00 FishMan552 阅读(220) 评论(0) 推荐(0)
摘要: Python 数据类型转换 有时候,我们需要对数据内置的内心进行转换,数据类型的转换,你只需要将数据类型作为函数名即可。 以下几个内置的函数可以执行数据类型之间的转换,这些函数返回一个新的对象,表示转换的值。 函数 描述 int(x[,base]) 将 x 转换为一个整数 float(x) 将 x 阅读全文
posted @ 2019-07-17 13:43 FishMan552 阅读(210) 评论(0) 推荐(0)
摘要: Python 3.x 的八种数据类型 八种数据类型分别是: number(数字)、string(字符串)、Boolean(布尔值)、None(空值) list(列表)、tuple(元组)、dict(字典)、set(集合)。 下面,我将这八种类型的相关知识,做一个梳理。 下面来一张思维导图(但只有6个 阅读全文
posted @ 2019-07-17 11:59 FishMan552 阅读(3957) 评论(1) 推荐(0)
摘要: 一、IE 浏览器 而IE各个版本典型的userAgent如下:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)Mozilla/4.0 (compat 阅读全文
posted @ 2019-07-16 10:55 FishMan552 阅读(855) 评论(0) 推荐(0)
摘要: 案例一: 重点: 1. 使用bs4 爬取 2. 数据写入本地 txt from bs4 import BeautifulSoup import requests url = "http://maoyan.com/board" header = { 'User-Agent':'Mozilla/5.0 阅读全文
posted @ 2019-07-12 10:55 FishMan552 阅读(847) 评论(0) 推荐(0)
摘要: Python简介 Python是一种计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新 功能的添加,越来越多被用于独立的、大型项目的开发。 Python是一门入门非常简单的编程语言,也是目前很受欢迎的编程语言,在人工智能、网络爬虫 阅读全文
posted @ 2019-07-11 23:08 FishMan552 阅读(459) 评论(0) 推荐(0)
摘要: * GET和POST之间的主要区别 1、GET是从服务器上获取数据,POST是向服务器传送数据。 2、在客户端, get是把参数数据队列加到提交表单的ACTION属性所指的URL中,值和表单内各个字段一一对应,在URL中可以看到。post是通过HTTP post机制,将表单 内各个字段与其内容放置在 阅读全文
posted @ 2019-07-10 14:07 FishMan552 阅读(5501) 评论(0) 推荐(0)