04 2020 档案
摘要:百度贴吧爬虫实现 GET请求 from urllib import request import urllib import time # https://tieba.baidu.com/f?kw=python&fr=ala0&tpl=5 #第一页 # https://tieba.baidu.com
阅读全文
摘要:有道翻译爬虫实现 POST请求: #有道翻译爬虫 from urllib import request import urllib import re #构造请求头信息 header={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)
阅读全文
摘要:使用urllib库数据挖掘 第一个爬虫程序 import re from urllib import request #直接使用request中的方法 #import urllib.request #需使用urllib.request.方法 url=r"http://www.baidu.com/"
阅读全文
摘要:请求响应包头 请求报头(Request Headers) 1. Host (主机和端口号) Host:对应网址URL中的Web名称和端口号,用于指定被请求资源的Internet主机和端口号,通常属于URL的一部分。 2. Connection (链接类型) Connection:表示客户端与服务连接
阅读全文
摘要:认识爬虫 爬虫是什么: 爬取互联网上的信息 数据挖掘->数据清洗(得到有效的信息) 爬虫分类: 通用爬虫:是搜索引擎抓取系统(百度,谷歌)的重要组成,主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份 抓取网页 -> 数据存储 -> 预处理 -> 提供检索,网站排名 聚焦爬虫:是"面
阅读全文
摘要:进阶 日期与时间 import datetime import time # 引入time模块 import calendar #获取当前日期时间 now=datetime.datetime.now() print(now) #获取指定日期 d=datetime.datetime(2019,10,1
阅读全文
摘要:多线程 进程 程序:是指令和数据的有序集合,其本身没有任何运行的含义,是一个静态的概念 进程:处理机制上的一次执行过程,他是一个动态的概念 状态:就绪态、运行态、阻塞态 CPU(4核)可以同时执行4个线程 线程 进程中包含若干个线程,进程作为分配资源的基本单位,线程作为独立运行和独立调度的基本单位
阅读全文
摘要:网络编程 端口 总共65535(216)个端口 知名端口:0-1023 80-HTTP服务 21-FTP服务 动态端口:1024-65535 不固定分配某种服务 IP地址 ip:网络地址和主机地址组成 分类:A类、B类、C类、D类,区分什么类看子网掩码 dns:域名解析器 http://14.215
阅读全文
摘要:异常处理 认识异常 异常是一个事件,该事件会在程序执行过程中发生,一般情况下,在python中无法处理程序时就会发生异常,当Python脚本发生异常时,我们需要捕获并处理异常,否则程序就会终止执行 try: 可能会出错的语句 except Exception as e: 异常处理 处理异常 常见的错
阅读全文
摘要:面向对象 认识面向对象 概念:面向对象(Object Oriented)是软件开发方法。 特征:封装 继承 多态 类的创建 类包括属性和方法。 属性包括实例变量和类变量 类的实例化 实例化是指在面向对象的编程中,把用类创建对象的过程称为实例化。是将一个抽象的概念类,具体到该类实物的过程 self关键
阅读全文
摘要:文件读写 文件读取 fh1=open("txt\\1.txt","r") #读取文本 data=fh1.read() print(data) #按行读取 data1=fh1.readline() data2=fh1.readline() print(data1) print(data2) #按行读取
阅读全文
摘要:函数与模块 函数的定义 def 函数名(参数): 主体 return 返回值 函数参数传递 1.顺序传入 2.关键字 3.默认参数 默认参数必须放到参数列表末位 4.不定长参数 def show(name,age,sex,hobby): print("我叫:",name,"年龄:",age,"性别:
阅读全文
摘要:循环 for语句 for 元素变量 in 序列: 执行语句 range(start,end,step) 生成序列 #最大值 a=[1423,2451,21,475,1668,68] maxx=a[0] for x in range(0,len(a)-1): if a[x]<=a[x+1]: maxx
阅读全文
摘要:选择结构 标准输入:input() 标准输出:print() if-else语句 if 条件语句: 执行语句1 elif 条件语句: 执行语句2 else: 执行语句3 #猜数游戏import random cout = 0 difficulty = input("\033[1;31;40m选择难度
阅读全文
摘要:变量、数据类型和运算符 什么是变量 略 注释 # 单行注释 ''' ''' 多行注释 """ """ 多行注释 数据类型 str=r"制表符\n表示换行" #r表示取消转义 数据类型转换 强制转换 type(); 检测变量类型 运算符 1.数学运算符: a//b a除以b后向下取整 a**b a的b
阅读全文
摘要:C#字符与字符串 字符与转义字符 1.定义 char类结构表示unicode字符。可以用来定义单个中文字符 2.方法 char c1 = 'a';char c2 = '0'; char c3 = 'A'; Console.WriteLine(char.IsLetter(c1)); //判断是否是字母
阅读全文
摘要:C#流程控制 if语句 if(条件判断表达式) { func1 } else { func2 } switch语句 switch(表达式) { case 常量表达式:条件语句;break; case 常量表达式:条件语句;break; case 常量表达式:条件语句;break; ... defau
阅读全文
摘要:C#表达式与运算符 表达式 操作数+运算符 数学运算符 var++ 先用后加 ++var 先加后用 赋值运算符 略 关系运算符 结果只会是bool类型 1.使用 数值类型比较两个数的大小 字符类比较Unicode编码大小,'A'=65 'a'=97 '0'=48 字符串只能用 == 或 != 逻辑运
阅读全文
摘要:C#数据类型 变量 声明->赋值->使用 作用域:变量作用域为包含它的大括号内 常量 1.const 数据类型 常量名称 = 常量值 声明常量时一定要赋值 2.@作用 输出转义字符 @"Hello World\n" 让字符串换行 关键字用作标识符 @namespace @class .. 数据类型之
阅读全文