12 2020 档案
摘要：引言 对于优化问题相关算法有如下分类：禁忌搜索是由局部搜索算法发展而来，爬山法是从通用局部搜索算法改进而来。在介绍禁忌搜索之前先来熟悉下爬山法和局部搜索算法。 局部搜索算法 算法的基本思想 在搜索过程中，始终选择当前点的邻居中与离目标最近者的方向搜索。 算法过程 （1）随机选择一个初始的可能解x0
阅读全文
摘要：参考： http://blog.csdn.net/majinlei121/article/details/46742339 http://blog.csdn.net/augusdi/article/details/9028365 https://blog.csdn.net/stf1065716904
阅读全文
摘要：Max Pooling是什么 在卷积后还会有一个 pooling 的操作。 max pooling 的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 output。 注意区分max pool
阅读全文
摘要：1.相似度三个测量续（距离测度，相似测度，匹配测度） 相关系数通常在-1到1之间 h是阈值
阅读全文
摘要：1.特征矢量，特征空间
阅读全文
摘要：1.1概述 补充： 丑小鸭定理 上个世纪60年代，模式识别研究的鼻祖之一，美籍日本学者渡边慧证明了“丑小鸭定理”。这个定理说的是“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。渡边慧举了一个鲸鱼
阅读全文
摘要：第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(W
阅读全文
摘要：深度学习笔记目录 第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 1 1.2 什么是神经网络？(What is a Neural N
阅读全文
摘要：1、网页查看 进入到全部小说，这就是我们要爬取的小说，这些够看很长时间了 2、完整代码及注释分析 import requests from bs4 import BeautifulSoup import os import re headers = { "User-Agent": "Mozilla/
阅读全文
摘要：前言 今天无聊的刷着CSDN，偶然发现了个爬虫练习网站http://glidedsky.com/，作为爬虫爱好者，对于这种网站当然是十分有兴趣的，于是我点进去看了看。 首先要注册个账号，这不是什么问题，注册好后去看了看网站定位，如下emm…确实不错，大家也可以去注册个账号练习练习 话不多说，直接第一
阅读全文
摘要：注意：本次爬虫仅为入门实战，爬取对象为彼岸图网，爬取图的分辨率大概都为1202✖️676 本次爬取采用的是requests+BeautifulSoup 1.爬取结果（话不多说，上图） 以上只是两张图片，更多就不一一放出来了。代码中只是爬取了4页图片，小伙伴们可以爬取更多内容。 第一页所有详情页图片如
阅读全文
摘要：1.上一篇讲了爬虫概述和urllib库，这篇讲解如何获取数据 打开上次写好的spider.py文件,继续写入以下代码： # -*- coding=utf-8 -*- # @Time : 2020/12/16 0016 下午 7:09 # @Author :东南大学软件学院陈洋 # @File :sp
阅读全文
摘要：我觉得在pycharm中导包极为便捷和方便，下面和大家分享一下吧： 首先点击file，再点击settings，再Projector Interpreter中点击，输入想要的包名，最后点击install package 流程图： 点击file,弹出的窗口点击settings，然后点击Projector
阅读全文
摘要：今天我将介绍常用工具的Python库，我相信你看完之后也会觉得离不开它们。他们是： Requests.Kenneth Reitz写的最富盛名的http库。每个Python程序员都应该有它。 Scrapy.如果你从事爬虫相关的工作，那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。 wx
阅读全文
摘要：1.python爬虫介绍 2.准备工作 比如新建项目命名为douban,然后新建个spider.py的python 文件 写入： def main(a): print("hello",a) main(2) if __name__=="__main__": #当程序执行时 #调用函数 main(1)
阅读全文
摘要：报错：module 'urllib' has no attribute 'request'解决办法： 然后查找原因，据说python3有时候不会将子模块自动导入进去，所以前面加上：（亲测可行） import urllib.request
阅读全文
摘要：1.文件读写 读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。 读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系
阅读全文
摘要：1.单元测试 如果你听说过“测试驱动开发”（TDD：Test-Driven Development），单元测试就不陌生。 单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。 比如对函数abs()，我们可以编写出以下几个测试用例： 输入正数，比如1、1.2、0.99，期待返回值与
阅读全文
摘要：1.调试 程序能一次写完并正常运行的概率很小，基本不超过1%。总会有各种各样的bug需要修正。有的bug很简单，看看错误信息就知道，有的bug很复杂，我们需要知道出错时，哪些变量的值是正确的，哪些变量的值是错误的，因此，需要一整套调试程序的手段来修复bug。 第一种方法简单直接粗暴有效，就是用pri
阅读全文
摘要：1.错误处理 在程序运行的过程中，如果发生了错误，可以事先约定返回一个错误代码，这样，就可以知道是否有错，以及出错的原因。在操作系统提供的调用中，返回错误码非常常见。比如打开文件的函数open()，成功时返回文件描述符（就是一个整数），出错时返回-1。 用错误码来表示是否出错十分不便，因为函数本身应
阅读全文
摘要：1.使用枚举类 当我们需要定义常量时，一个办法是用大写变量通过整数来定义，例如月份： JAN = 1 FEB = 2 MAR = 3 ... NOV = 11 DEC = 12 好处是简单，缺点是类型是int，并且仍然是变量。 更好的方法是为这样的枚举类型定义一个class类型，然后，每个常量都是c
阅读全文
摘要：1.多重继承 继承是面向对象编程的一个重要的方式，因为通过继承，子类就可以扩展父类的功能。 回忆一下Animal类层次的设计，假设我们要实现以下4种动物： Dog - 狗狗； Bat - 蝙蝠； Parrot - 鹦鹉； Ostrich - 鸵鸟。 如果按照哺乳动物和鸟类归类，我们可以设计出这样的类
阅读全文
摘要：1.使用__slots__ 正常情况下，当我们定义了一个class，创建了一个class的实例后，我们可以给该实例绑定任何属性和方法，这就是动态语言的灵活性。先定义class： class Student(object): pass 然后，尝试给实例绑定一个属性： >>> s = Student()
阅读全文
摘要：1.获取对象信息 当我们拿到一个对象的引用时，如何知道这个对象是什么类型、有哪些方法呢？ 使用type() 首先，我们来判断对象类型，使用type()函数： 基本类型都可以用type()判断： >>> type(123) <class 'int'> >>> type('str') <class 's
阅读全文
摘要：1.继承与多态 在OOP程序设计中，当我们定义一个class的时候，可以从某个现有的class继承，新的class称为子类（Subclass），而被继承的class称为基类、父类或超类（Base class、Super class）。 比如，我们已经编写了一个名为Animal的class，有一个ru
阅读全文
摘要：面向对象编程概述 面向对象编程——Object Oriented Programming，简称OOP，是一种程序设计思想。OOP把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数。 面向过程的程序设计把计算机程序视为一系列的命令集合，即一组函数的顺序执行。为了简化程序设计，面向过程把函数继
阅读全文
摘要：模块概述 在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。 为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。在Python中，一个.py文件就称之为一个模块（Mo
阅读全文
摘要：1.装饰器 由于函数也是一个对象，而且函数对象可以被赋值给变量，所以，通过变量也能调用该函数。 >>> def now(): ... print('2015-3-25') ... >>> f = now >>> f() 2015-3-25 函数对象有一个__name__属性，可以拿到函数的名字： >
阅读全文
摘要：1.返回函数 函数作为返回值 高阶函数除了可以接受函数作为参数外，还可以把函数作为结果值返回。 我们来实现一个可变参数的求和。通常情况下，求和的函数是这样定义的： def calc_sum(*args): ax = 0 for n in args: ax = ax + n return ax 但是，
阅读全文
摘要：概述 函数是Python内建支持的一种封装，我们通过把大段代码拆成函数，通过一层一层的函数调用，就可以把复杂任务分解成简单的任务，这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序设计的基本单元。 而函数式编程（请注意多了一个“式”字）——Functional Programming，虽然
阅读全文
摘要：1.切片 取一个list或tuple的部分元素是非常常见的操作。比如，一个list如下： >>> L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack'] 取前3个元素，应该怎么做？ 笨办法： >>> [L[0], L[1], L[2]] ['Michael'
阅读全文
摘要：1.函数的参数 定义函数的时候，我们把参数的名字和位置确定下来，函数的接口定义就完成了。对于函数的调用者来说，只需要知道如何传递正确的参数，以及函数将返回什么样的值就够了，函数内部的复杂逻辑被封装起来，调用者无需了解。 Python的函数定义非常简单，但灵活度却非常大。除了正常定义的必选参数外，还可
阅读全文
摘要：1.调用函数 Python内置了很多有用的函数，我们可以直接调用。 要调用一个函数，需要知道函数的名称和参数，比如求绝对值的函数abs，只有一个参数。可以直接从Python的官方网站查看文档： http://docs.python.org/3/library/functions.html#abs 也
阅读全文
摘要：dict Python内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。 举个例子，假设要根据同学的名字查找对应的成绩，如果用list实现，需要两个list： names = ['Michael', 'B
阅读全文
摘要：list Python内置的一种数据类型是列表：list。list是一种有序的集合，可以随时添加和删除其中的元素。 比如，列出班里所有同学的名字，就可以用一个list表示： >>> classmates = ['Michael', 'Bob', 'Tracy'] >>> classmates ['M
阅读全文
摘要：1.条件判断 计算机之所以能做很多自动化的任务，因为它可以自己做条件判断。 比如，输入用户年龄，根据年龄打印不同的内容，在Python程序中，用if语句实现： age = 20 if age >= 18: print('your age is', age) print('adult') 根据Pyth
阅读全文
摘要：1.字符编码 我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111
阅读全文
摘要：1.数据类型 计算机顾名思义就是可以做数学计算的机器，因此，计算机程序理所当然地可以处理各种数值。但是，计算机能处理的远不止数值，还可以处理文本、图形、音频、视频、网页等各种各样的数据，不同的数据，需要定义不同的数据类型。在Python中，能够直接处理的数据类型有以下几种： 整数 Python可以处
阅读全文
摘要：下面介绍Python一些基础语法：参考廖老师官方网站（以下博客同，不再赘述） 1.输出与输入 用print()在括号中加上字符串，就可以向屏幕上输出指定的文字。比如输出'hello, world'，用代码实现如下： >>> print('hello, world') print()函数也可以接受多个
阅读全文
摘要：本课程参考Python爬虫技术五天速成（https://www.bilibili.com/video/BV12E411A7ZQ?p=2） 更多细节内容可以参考廖雪峰老师事官方网站（https://www.liaoxuefeng.com/wiki/1016959663602400/1016959735
阅读全文
摘要：遗传算法： 遗传程序设计： 参考文献：清华大学-数据挖掘：理论与算法（国家级精品课）
阅读全文
摘要：集成学习 Bagging算法： Boosting: Regio Boost: 总结： 参考文献：清华大学-数据挖掘：理论与算法（国家级精品课）
阅读全文
摘要：推荐系统 包括两种方式—基于内容的过滤和协同过滤 隐含语义分析 Tf-idfTF—出现频率IDF—在其他文档中出现的频率，（在其他文档也经常出现，则IDF值会比较低） 向量空间模型相似度—余弦距离存在的问题LSA—隐含语义分析 PageRank L(pj)是指向其他人个数，d是参数，通常设为0.85
阅读全文
摘要：关联规则 隐藏在大型数据集中的令人感兴趣的联系例子：关联规则的强度可以用它的支持度和置信度度量 支持度与置信度 关联规则的支持度支持度是一种重要度量，因为支持度很低的规则可能只是偶然出现，从商务角度来看，低支持度的规则多半也不是令人感兴趣的，因为对顾客很少同时购买的商品进行促销可能并无益处。因此，支
阅读全文
摘要：聚类 评估性能 K-Means算法 算法步骤 下面介绍EM算法思想 DBSCAN： 层次聚类： 算法思想： 课外扩展阅读材料 参考文献：清华大学-数据挖掘：理论与算法（国家级精品课）
阅读全文
摘要：支持向量机使用训练集的一个子集来表示决策边界，该子集称作支持向量。 线性分类器 参考文献：清华大学-数据挖掘：理论与算法（国家级精品课）
阅读全文
摘要：感知机—神经网络最基本的模型 感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取1和0）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面.其中，w0 是一个偏差值，这个条件是必要的，如果没有这个条件，切平面会经过原点。我们需
阅读全文
摘要：决策树模型 决策树是一种用于对实例进行分类的树形结构。决策树由节点（node）和有向边（directed edge）组成。节点的类型有两种：内部节点和叶子节点。其中，内部节点表示一个特征或属性的测试条件（用于分开具有不同特性的记录），叶子节点表示一个分类。 一旦我们构造了一个决策树模型，以它为基础来
阅读全文
摘要：什么是分类 分类是一项生存的基本技能，例如，动物对天敌和猎物进行分类。 分类是一种有监督的学习，从数据中产生模型，输入一组样本特征后，能很好地将其归为某个类别。（包括二分类和多分类） 贝叶斯定理 如下所示，用于计算B事件发生的情况下A发生的概率 朴素贝叶斯 朴素贝叶斯法是基于贝叶斯定理与特征条件独立
阅读全文
摘要：注意a,b是约束，人为设定。 参考文献：《人工智能导论》
阅读全文
摘要：数据可视化（Data Visualization） 借助于图形化手段，清晰有效地传达与沟通信息。 一维数据比较简单，可以做成饼图、直方图、曲线等等…二维数据的可视化散点图，上图是汽车排量和加速度之间的关系图，我们可以对该二位数据做回归 Regression 看看它们之间有什么关系。 三维数据的可视化
阅读全文
摘要：数据预处理过程 数据清洗—>数据转换—>数据描述—>特征选择—>特征提取为什么要进行数据预处理原始的数据不利于直接进行数据挖掘，因为： 数据不完整 存在错误数据 数据存在重复信息 数据量过大等等。。。 如何解决丢失的数据问题 进行选择性忽视 人工补全（比如重新收集、经验填充） 自动补全（利用数据的均
阅读全文
摘要：什么是数据 大概的意思是一些定量或者定性的属性，比如一个人的身高体重，年龄，性别，婚姻状况等等。 数据预处理：主要包含以下主题 聚集：将两个或多个对象合并成单个对象 抽样：简单随机抽样（有放回和无放回），分层抽样，渐进抽样 维规约：通过创建新属性，将一些旧属性合并在一起降低数据集的维度。重要概念：维
阅读全文
摘要：Browse state-of-the-art：https://paperswithcode.com/sota 截图如下： 以上可以看到有CV方向和NLP方向，后面还有更多内容。
阅读全文
摘要：switch关键字由于笔试和面试经常会问到它的用法，这里做了一个简单的总结： 能用于switch判断的类型有：基本数据类型：byte、short、int、char（JDK1.6），还有引用数据类型：枚举类型，但是在JDK1.7后添加了对String类型的判断 case语句中少写了break，编译不会
阅读全文
浙公网安备 33010602011771号