随笔分类 -  Python

计算两张图的余弦相似度
摘要：# 结果余弦相似度对比 import numpy as np import pdb def count_difference(groundtruth, inputs): statistical_method = { 'cosine_similarity': lambda X1, X2: np.sum 阅读全文
posted @ 2021-10-31 20:08 荒唐了年少 阅读(530) 评论(0) 推荐(0)
抓取一个网站全部的网页URL--Python、爬虫
摘要：要获得一个网站所有的网页URL，思路很简单，就是一遍遍分析新得到的网页中有哪些URL，然后不断重复的。 下面以抓取CSDN为例： 首先是一些辅助用的函数： 1 def getResponse(url):# 使用requests获取Response 2 headers = { 3 'User-Agen 阅读全文
posted @ 2021-06-02 09:56 荒唐了年少 阅读(5192) 评论(0) 推荐(0)
爬虫学习总结--python爬虫
摘要：下面是大纲，具体内容放在Github 第一部分： requests的使用： 使用requests发起请求，获取网页数据 get请求 UA伪装 post请求 JSON数据的处理 使用正则表达式解析数据 使用bs4解析数据 第二部分： 使用Xpath解析数据 selenium的使用 第三部分： 验证码识 阅读全文
posted @ 2021-05-26 15:20 荒唐了年少 阅读(62) 评论(0) 推荐(0)
解析爬虫获取的JSON数据--python爬虫
摘要：最简单的形式，不需要任何处理： obj = requests.get(url).json() 遇到JSON数据无法解析时，可能原因需要去除获取的数据头尾不属于JSON数据的部分： page_text = getResponse(url).text sonObj = demjson.decode(pa 阅读全文
posted @ 2021-05-26 15:03 荒唐了年少 阅读(1080) 评论(0) 推荐(0)
使用Youtube-dl下载音频以及中文字幕--python爬虫
摘要：YouTube-dl的安装与使用：ytdl-org/youtube-dl: Command-line program to download videos from YouTube.com and other video sites (github.com) 下面是以m4a格式下载音频以及对应中文字 阅读全文
posted @ 2021-05-26 10:49 荒唐了年少 阅读(2495) 评论(4) 推荐(0)
使用Python与数据库交互
摘要：上述代码(以Python内置的sqlite为例)展示了如何连接数据库，并在数据库中新建table，并对table进行增删改查操作 而下面在我准备连接MySQL时，出现下列错误： 错误信息：OperationalError: (2059, <NULL>) 在网上找到的错误原因：MySQL8.0使用的新 阅读全文
posted @ 2018-11-27 16:56 荒唐了年少 阅读(1820) 评论(0) 推荐(0)
使用Python处理Excel文件的一些代码示例
摘要：笔记：使用Python处理Excel文件的一些代码示例，以下代码来自于《Python数据分析基础》一书，有删改 选取特定的列 类似于处理CSV文件时的情况 读取多个Excel文件时，类似于前面处理CSV文件时的情况，使用glob 以上代码示例分别使用基本Python和pandas库处理Excel文件 阅读全文
posted @ 2018-11-16 18:29 荒唐了年少 阅读(11556) 评论(0) 推荐(0)
使用Python处理CSV文件的一些代码示例
摘要：笔记：使用Python处理CSV文件的一些代码示例，来自于《Python数据分析基础》一书，有删改 代码示例中使用的CSV文件： 上述代码分别使用CSV库、pandas库来对CSV文件进行相同的操作 上述代码运行在Python 3.6版本下，在Win10、Spyder中 有关Python的csv库的 阅读全文
posted @ 2018-11-16 18:15 荒唐了年少 阅读(3894) 评论(0) 推荐(0)
Python常用的包
摘要：Python常用的处理数据的包和它的Tutorial（点击每个包的名称）： Numpy：提供对多维数组的支持，支持矢量运算，速度快 matplotlib.pyplot：图表的绘制 Pandas：基于 Numpy 构建的含有更高级数据结构和工具的数据分析包 阅读全文
posted @ 2018-06-04 20:31 荒唐了年少 阅读(333) 评论(0) 推荐(0)
Python 包的制作（__init__.py）
摘要：如何制作一个自己的包：首先，需要创建一个文件夹，将其作为顶层包，在此文件夹内我们可以定义各个不同的子文件夹与 .py 文件作为各个子包与模块注意：在每个包文件夹下都需要有一个 __init__.py 文件，此文件可以为空 例如：我们创建一个文件夹Test作为顶层包文件夹，在Test内添加 __ini 阅读全文
posted @ 2018-06-03 14:52 荒唐了年少 阅读(2300) 评论(0) 推荐(0)
Python 模块的安装与使用
摘要：我们知道使用函数不仅减轻了工作量，而且使代码更加简洁，更加的易于维护。但如果在另一个文件中，我们希望使用上一个文件中定义的某个函数，我们应该怎么办呢？我们需要重新将上一个函数再次实现一遍吗？而且，当我们在实现一个很复杂的功能时，即使将此功能分解成各个更小的函数，所需要的代码依旧庞大，导致整个文件不易 阅读全文
posted @ 2018-06-02 23:32 荒唐了年少 阅读(850) 评论(0) 推荐(0)
Python——list切片
摘要：前文简单介绍了Python中的list和它常用的一些函数，知道list是一个有序的数据集合，那么我们如何获取list中的元素呢？ Index： 与C语言中数组一样，list可以通过每个元素的index来获取它的值，但list却与数组有很大的不同： Index： list的index可以为负数，当in 阅读全文
posted @ 2018-06-02 18:12 荒唐了年少 阅读(427) 评论(0) 推荐(0)
Python函数
摘要：大多数高级语言都提供了函数这个概念，Python也不例外，有过其他语言学习经验的都或多或少了解什么是函数，使用函数有哪些好处。下面首先简要叙述我们为什么需要函数，以及使用函数有哪些好处？ 函数之所以被创建出来，我想最根本的原因是程序员的"惰性"。与平常生活一样，我们总是需要重复去做一件有意见的事情。 阅读全文
posted @ 2018-05-17 22:22 荒唐了年少 阅读(273) 评论(0) 推荐(0)
Python基础——数据类型、流程控制、常用函数
摘要：Python tutorial ：Python网站上的对 Python 语言和系统的基本概念和功能进行的非正式的介绍。 在学习Python之前，我们需要学会在各个平台配置Python的运行环境，下文中所给出的示例都是在Linux中运行的： 在Linux下安装Python3并配置所需环境：https: 阅读全文
posted @ 2018-05-10 23:15 荒唐了年少 阅读(492) 评论(0) 推荐(0)