02 2021 档案
摘要：https://eliyar.biz/nlp_chinese_bert_ner/ 序列标注任务是中文自然语言处理（NLP）领域在句子层面中的主要任务，在给定的文本序列上预测序列中需要作出标注的标签。常见的子任务有命名实体识别（NER）、Chunk 提取以及词性标注（POS）等。 BERT 模型刷新了
阅读全文
摘要：Mnist数据集RNN网络 导入Mnist数据集 import tensorflow as tf import numpy as np from tensorflow.contrib import rnn from tensorflow.examples.tutorials.mnist import
阅读全文
摘要：卷积网络 import tensorflow as tf import random import numpy as np import matplotlib.pyplot as plt import datetime %matplotlib inline from tensorflow.examp
阅读全文
摘要：import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("data/", one_hot=True) Extracting
阅读全文
摘要：关于 cairosvg 官网：https://cairosvg.org Convert your SVG files to PDF and PNG. a SVG 1.1 to PNG, PDF, PS and SVG converter; a command-line interface; a Py
阅读全文
摘要：import所需库 # bs4 nltk gensim import os import re import numpy as np import pandas as pd from bs4 import BeautifulSoup from sklearn.feature_extraction.t
阅读全文
摘要：贝叶斯(约1701-1761) Thomas Bayes，英国数学家 1762) 贝叶斯方法源于他生前为解决一个 逆概 问题写的一篇文章。 贝叶斯要解决的问题 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大\ 逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而
阅读全文
摘要：转载自：https://www.cnblogs.com/biyeymyhjob/archive/2012/07/17/2595249.html 概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。 TF-
阅读全文
摘要：imutils 在 opencv 基础上对一些方法进行了再次加工，使这些方法更加简单易用，包括 translation, rotation, resizing, skeletonization, and displaying Matplotlib images 等。 github主页: https:
阅读全文
摘要：https://docs.python.org/zh-cn/3.7/library/index.html 概述 可用性注释 内置函数 内置常量 由 site 模块添加的常量 内置类型 逻辑值检测 布尔运算 and, or, not 比较运算 数字类型 int, float, complex 迭代器类
阅读全文
摘要：内置模块 copy 深浅拷贝 对于不可变对象(数字,字符串,元组等)，深浅拷贝等同于赋值操作 (v2 = copy(v1)，等同于 v2 = deepcopy(v1)，等同于v2 = v1。 对于可变的对象(列表,字典,集合等)深浅拷贝的本质是，申请新的空闲内存单元，并将变量名指向该内存单元的首地址
阅读全文
摘要：参考总结自： https://www.zhihu.com/question/33783546/answer/775946401 pyecharts folium geopandas basemap plotly Altair和GeoViews gmplot（Google Maps） Highmaps
阅读全文
摘要：转载改编自：https://www.cnblogs.com/chen8023miss/p/12220631.html PyEcharts 官网：https://pyecharts.org/#/ 安装 $ pip install pyecharts 1 仪表盘 from pyecharts impor
阅读全文
摘要：引言 本文基于 pdfplumber 实现 PDF 识别； PDF 识别其他库：PyPDF2、； 参考：https://zhuanlan.zhihu.com/p/336643249 pdfplumber 简介 开源地址：https://github.com/jsvine/pdfplumber 安装准
阅读全文
摘要：EasyOCR https://github.com/JaidedAI/EasyOCR 识别步骤 图像输入 前期处理 二值化 图像降噪 倾斜校正 中期处理 版面分析 字符切割 字符识别 版面还原 后期处理 结果矫正 输出文本 安装 pip install easyocr 使用 EasyOCR的用法非
阅读全文
摘要：SQLAlchemy 官网 https://www.sqlalchemy.org 廖雪峰 https://www.liaoxuefeng.com/wiki/897692888725344/955081460091040 西瓜甜 https://www.jianshu.com/p/65903a69d6
阅读全文
摘要：关于字符串 Python中的字符串用单引号 ' 或双引号 " 括起来，同时使用反斜杠 \ 转义特殊字符。 创建 可以使用引号( ' 或 " )来创建字符串 不支持单字符类型，单字符在 Python 中也是作为一个字符串使用。 var1 = 'Hello World!' var2 = "Runoob"
阅读全文
摘要：什么是运算符？ 举个简单的例子: 4 + 5 = 9 例子中，4 和 5 被称为操作数，+ 称为运算符。 Python 语言支持以下类型的运算符: 算术运算符 比较（关系）运算符 赋值运算符 逻辑运算符 位运算符 成员运算符 身份运算符 运算符优先级 1、算术运算符 以下假设变量a为10，变量b为2
阅读全文
摘要：数学函数 函数 返回值 ( 描述 ) abs(x) 返回数字的绝对值，如abs(-10) 返回 10 ceil(x) 返回数字的上入整数，如math.ceil(4.1) 返回 5 cmp(x, y) 如果 x < y 返回 -1, 如果 x == y 返回 0, 如果 x > y 返回 1。 **P
阅读全文
摘要：数值类型 数字并不是一个真正的对象类型，而是一组类似类型的分类 python中数字有四种类型： bool (布尔)：True，False；不是 true 和 false，也没有 YES, NO。 int (整数)，是正或负整数，不带小数点。如 1, 只有一种整数类型 int，表示为长整型；没有 py
阅读全文
摘要：设置编码 Python 3 源码文件以 UTF-8 编码，所有字符串都是 unicode 字符串。 也可以设置为其他编码，比如 cp-1252 编码 # -*- coding: cp-1252 -*- 标识符 由 字母、数字和下划线组成； 第一个字符必须是 字母 或 下划线 _；不能是数字。 区分大
阅读全文
摘要：Mac Anaconda 第三方包地址： ~/opt/anaconda3/lib/python3.7/site-packages Softwrap 换行 一行内容显示比较多时，希望能换行显示，而非拖动滑动条，修改配置文件： ~/opt/anaconda3/etc/jupyter/nbconfig/n
阅读全文
摘要：搬运自：https://github.com/cdoco/common-regex 博主还有这篇可以学习参考： https://github.com/cdoco/learn-regex-zh 邮箱 gaozihang-001@gmail.com 只允许英文字母、数字、下划线、英文句号、以及中划线组成
阅读全文
摘要：官方网站 https://www.r-project.org 菜鸟教程 https://www.runoob.com/r/r-tutorial.html 视频教程 基因学苑 ：R语言入门与数据分析 https://www.bilibili.com/video/BV19x411X7C6 codingd
阅读全文
摘要：关于 ImageEnhance PIL 中的 ImageEnhance 模块用于图片增强效果， 一般先构建一个增强器，然后调用增强器的 enhance 方法； 增强器包括：色彩平衡，亮度平衡，对比度，锐化度等 准备 from PIL import Image, ImageEnhance import
阅读全文
摘要：概念 傅里叶变换 生活中很多事都和时间挂钩；以时间为参照就是 时域分析； 在频域中，一切都是静止的； https://zhuanlan.zhihu.com/p/19763358 傅里叶变换的作用 高频:变化剧烈的灰度分量，例如边界 低频:变化缓慢的灰度分量,例如一片大海 滤波 低通滤波器:只保留低频
阅读全文
摘要：一、概念 局部图片 在 完整图片的哪个位置（最像） OpenCV 会从左到右，从上到下，一点点匹配，查看差异值； 模板匹配和卷积原理很像，模板在原图像上从原点开始滑动，计算模板与(图像被模板覆盖的地方)的差别程度，这个差别程度的计算方法在opencv里有6种。 将每次计算的结果放入一个矩阵里，作为结
阅读全文
摘要：零、梯度理论 可以把图像看成二维离散函数，图像梯度就是这个二维离散函数的求导： 梯度一般产生在边缘位置； OpenCV 提供了三种不同的梯度滤波器，或者说高通滤波器：Sobel，Scharr和Lapacian。 Sobel，Scharr其实就是求一阶或二阶导。 Scharr是对Sobel的部分优化。
阅读全文
摘要：一、轮廓概念 轮廓和边缘的区别： 边缘主要是反映梯度的变化，可以是零零散散的线条； 轮廓是一个整体； findContours 方法说明 findContours(image, mode, method[, contours[, hierarchy[, offset]]]) → contours,
阅读全文
摘要：关于元组 元组对象的本质是一个有序的、可迭代、可切片、不可变的序列，且内部元素支持任意对象。但通常为可哈希对象。 不能改变元祖，但可以改变元祖里的可变对象； 元组 & 列表 元组的元素不能修改；列表可以修改； 元组使用小括号 ( ) ， 列表使用方括号 [ ]。 元组 & 字符串 字符串可以看作一种
阅读全文
摘要：My Category：https://www.cnblogs.com/fldev/category/1924428.html 官方主页 https://developer.apple.com/documentation/swiftui https://developer.apple.com/tut
阅读全文
摘要：什么是 TCL TCL：Tool Command Language John K. Ousterhout于 1988 年开始开发 Tcl/Tk（读作“tickle tee-kay”），而后加州大学伯克利分校的一名教授继续对它进行开发。 大部分EDA工具都支持Tcl语言，如Design Complie
阅读全文
摘要：一、关于列表 列表对象的本质是一个有序的、可迭代、可切片、可变的序列，内部元素支持任意对象。 是写在方括号 [] 之间、用逗号分隔开的元素列表。 # 声明一个列表对象的变量l >>> l = ['l', 'i', 'm', 'a', 'n', 'm', 'a', 'n'] >>> type(l) <
阅读全文
摘要：列表元素 import numpy as np import pandas as pd import matplotlib.pyplot as plt n = 10 l = [i for i in range(n)] l # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] l * 2
阅读全文
摘要：滤波理论 图像滤波，即在尽量保留图像细节特征的条件下 对目标图像的噪声 进行抑制。 是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到 后续图像处理 和 分析的有效性和可靠性。 消除图像中的噪声成分叫作图像的平滑化或滤波操作。信号或图像的能量大部分集中在幅度谱的低频和中频段是很常见的，而在较
阅读全文
摘要：简单的神经网络 mnist = input_data.read_data_sets("data/", one_hot=True) # 参数设置 numClasses = 10 # 输出10类 inputSize = 784 # 784 个像素点 numHiddenUnits = 50 # 隐藏层单元
阅读全文
摘要：思路：使用 图像距离计算，然后 使用K近邻来分类。 使用像素点对应相减的方法（保留绝对值） 这样计算部分准确，部分错误。原因：不知道图像的主体 和 背景。 所以K近邻不适合做图像分类任务。 但神经网络能识别出来。
阅读全文
摘要：概念 将图像组合成金字塔的形状（底下大，上面小） 使用场景：特征提取 方法分为 高斯金字塔 拉普拉斯金字塔 一、高斯金字塔 1、向下采样法（缩小） 越采样越少，down sample，|是一个缩小操作； 将 \(G_i\) 与高斯内核卷积 将所有偶数行和列去除 \(\frac{1}{16} * \l
阅读全文
摘要：理论 图像阈值分割 利用图像中 要提取的目标区域 与 其背景 在 灰度特性 上的差异，把图像看作 具有不同灰度级的两类区域 (目标区域和背景区域)的组合。 选取一个比较合理的阈值，以确定图像中每个像素点 应该属于目标区域 还是背景区域，从而产生相应的二值图像。 阈值分割法的特点是：适用于 目标与背景
阅读全文
摘要：理论 数学形态学（Mathematical morphology） 是一门建立在 格论 和 拓扑学 基础之上的图像分析学科，是 数学形态学图像处理 的基本理论。 其基本的运算包括：腐蚀和膨胀、开运算和闭运算、骨架抽取、极限腐蚀、击中击不中变换、形态学梯度、Top-hat变换、颗粒分析、流域变换等。
阅读全文
摘要：理论 伪彩色图像，目前主要用于 高度、压力、密度、湿度等，做彩色数据可视化。 HSV 色度、饱和度、亮度 示例 import cv2 import matplotlib.pyplot as plt img = cv2.imread('lena.jpg') img1 = cv2.applyColorM
阅读全文
摘要：一、基本概念 在不改变图像的内容的前提下， 对图像的像素进行空间几何变化； 包括 图像的平移、镜像变换、缩放和旋转等； 假设原始图像的 f(x0, y0),经过几何变化产生的目标图像为 g(x1, y1), 则空间变换(映射)关系为： x1 = s(x0, y0) y1 = t(x0, y0) 那么
阅读全文
摘要：一、颜色空间转换 cvtColor(src, code[, dst[, dstCn]]) → dst src：原始图像 code：转换的代码或者标识 返回值：已完成转换的图像 lena = cv2.imread('lena.jpg') lena_gray = cv2.cvtColor('lena.j
阅读全文
摘要：色调 色彩外观的基本倾向，面熟了图像色彩模式下 原色的明暗程度； 范围 0-255，共 256 级色调； 对于灰度图，级别为255的时候，是白色； 级别为0 的时候，是黑色；中间是程度不同的灰色； 在 RGB 色彩空间中，色调代表的是红绿蓝三种原色的明暗程度； 以红色为例：有淡红、粉红、玫红、暗红等
阅读全文
摘要：一、截取 ROI ROI : region of interest import cv2 img=cv2.imread('dj.jpg') # 封装方法来显示图片 def cv_show(img): cv2.imshow('w title',img) waitret = cv2.waitKey(20
阅读全文
摘要：flutter 预研 目录flutter 预研开启 Mac 开发桌面应用Dart 语法demos 安装 https://www.jianshu.com/p/603649a02956 开启 Mac 开发桌面应用 Flutter 的 master 默认是关闭 桌面应用的，我们可以使用下面的命令开启： f
阅读全文
摘要：关于 spaCy 官网：https://spacy.io 相比 NLTK spacy 速度更快 可以和深度学习结合 安装 (base) $ python -m spacy download en import spacy 加载英文模型，需要先安装模型 $ sudo python -m spacy d
阅读全文
摘要：一、图像读写 1、读取 imread imread(filename[, flags]) → retval flags 相关参数 cv2.IMREAD_COLOR：彩色图像 cv2.IMREAD_GRAYSCALE：灰度图像 0，8位深度，1通道； 1，8位深度，3通道； 2，原深度，1通道 3，原
阅读全文
摘要：像素 图片由一个个小格组成，这个小格叫做像素点； 一个像素，是一个很小的图像单元； 单元包含很多信息，其中最重要的就是颜色信息； 图像的颜色范围：0--255； 数值的变化代表颜色深浅的变化 一个像素点由三个值R、G、B组成，每个值的范围为 0--255，表示亮度； 颜色通道 单通道，如 灰度图，值
阅读全文
摘要：怎么训练一个语言模型 1、 语料获取及预处理 billion words：https://github.com/ciprian-chelba/1-billion-word-language-modeling-benchmark 下载其 training-monolingual 语料 并使用 get_
阅读全文
摘要：文本相似 文本相似：一般是指的，某一文本 doc1与另一文本 doc2的相似程度。 一般可以从两个方面去考察两个文本之间的相似程度：形似（字面相似）和神似（语义相似）。当然这两种相似性也不能够完全割裂开来，只不过可以认为字面相似的文本不一定语义相似，语义相似的文本不一定用词相似。 为了考察文本的相似
阅读全文
摘要：数据清洗 去掉多余空格 去掉不需要特殊字符 去掉一些网站等没用的东西 使用正则，stopwords import re from nltk.corpus import stopwords # 输入数据 s = ' RT @Amila #Test\nTom\'s newly listed Co &am
阅读全文
摘要：一、停用词 stopwords 停用词：跟要做的实际主题不相关的文本，在 NPL任务中（信息检索、分类）毫无意义；通常情况下，冠词 和 代词都会被列为；一般歧义不大，移除后影响小。 一般情况下，给定语言的停用词都是人工制定，跨语料库，针对最常见单词的停用词表。停用词表可能使用网站上找到已有的，也可能
阅读全文
摘要：词干提取 stemming 实现功能：如 eating, eaten, ate, eats > eat 一般词干提取器，移除 -s/es, -ing, -ed 这类事的准确度可以达到 70%； Porter 词干提取器，使用更多规则，精确度更高； Snowball 提取器，是一个提取家族，可以分别处
阅读全文
摘要：一、标识化处理（分词/分句） 标识化处理：将原生字符串分割为一系列有意义的分词。 机器要理解的最小处理单位为单词。所以标识化处理外，不适合再做进一步的操作。 标识器（tokenizer）： 1、split() 分割； 2、正则； 3、NLTK 内置方法：nltk.tokenize.word_toke
阅读全文
摘要：关于 NLTK NLTK：Natural Language Toolkit 官网：http://www.nltk.org NLTK 模块简介 语言处理任务 NLTK模块 功能描述 获取和处理语料库 nltk.corpus 语料库和词典的标准化接口 字符串处理 nltk.tokenize, nltk.
阅读全文
摘要：关于NLP NLP：Natural Language Processing 自然语言处理。 目的：计算机能‘懂得’人类对它‘说’的话，然后去执行一些指定的任务。 NLP任务分类 序列标注问题 命名实体 品牌词识别 拼写检查 中文分词（词性标注） 句法分析 新词发现 同义词查找&替换 关键词提取&搜索
阅读全文
摘要：学习资源 官网 https://www.python.org 菜鸟 https://www.runoob.com/python3/python3-number.html 廖雪峰 https://www.liaoxuefeng.com/wiki/1016959663602400 codingdict
阅读全文
摘要：关于字典 字典是另一种可变容器模型，且可存储任意类型对象。 字典对象的本质是，一个通过键值而非索引 存取的无序的、可迭代、可变的映射表。键必须互不相同。 字典 & 序列 序列是以连续的整数为索引；字典以关键字为索引，关键字可以是任意不可变类型，通常用字符串或数值。 创建 字典的每个键值(key=>v
阅读全文
摘要：模型误差 模型误差 = 偏差(Bias) + 方差(Variance) + 不可避免的误差 偏差方差权衡 Bias Variance Trade off 偏差 (Bias) 导致偏差的主要原因：对问题本身的假设不正确! 如：非线性数据 使用线性回归 欠拟合 方差(Variance) 数据的一点点扰动
阅读全文
摘要：目录 官方 https://doc.qt.io/archives/qt-4.8/qwidget.html 银色的音色：QWidget控件学习总结 https://www.cnblogs.com/yinsedeyinse/p/10665007.html
阅读全文
摘要：$ cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core" $ pwd /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core
阅读全文
摘要：主页：https://github.com/soimort/you-get 安装 (base) $ pip3 install you-get 使用 查看信息 (base) $ you-get -i https://v.qq.com/x/page/xxxxxxx?start=1 Site: QQ.co
阅读全文
摘要：特征使用方案 实现我们的目标需要哪些数据？基于业务理解 ,尽可能找出对因变量有影响的所有自变量 可用性评估 获取难度 覆盖率 准确率 特征获取方案 如何获取这些特征? 如何存储? 特征处理 特征清洗 清洗异常样本 采样 数据不均衡 样本权重 预处理 单个特征 归一化 离散化 Dummy Coding
阅读全文
摘要：什么是拉索回归 LASSO: Least Absolute Shrinkage and Selection Operator Regression 岭回归的目标： 使 $J(\theta) = MSE(Y, \hat; \theta) \alpha \frac{1}{2} \sum_n \theta
阅读全文
摘要：TF 计算的每一个变量必须是 tensor 格式； import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow.compat.v1 as tf tf.disable_eager_execution() a = 3 # 创建
阅读全文
摘要：安装 深度学习库的优势 参考教程：https://www.bilibili.com/video/BV1Rv411y7oE 提供 GPU 加速； 自动求导； 常用 API Tensor 运算 Torch.add Torch.mul Torch.matmul Torch.view Torch.expan
阅读全文
摘要：LSTM 长短记忆网络 LSTM 是 RNN 的升级版，应用更广泛。 解决的问题： 增加控制参数C，保留有价值的信息； C 可以看做一个权重列表：[0, 0.1, 0.8, 1] 舍弃，小部分保留，大部分保留，全部保留。 LSTM 的重点是 控制参数怎么更新 如何训练C参数？ 门是一种让信息选择式通
阅读全文
摘要：RNN RNN：Recurrent Neural Network，循环神经网络，或 递归神经网络 来源 全连接神经网络和卷积神经网络 都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。 但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。 比如，当我
阅读全文
摘要：卷积神经网络：Convolutional Neural Networks 神经网络基础上的改进版本。 用途 主要用于 计算机视觉领域，如 检测、追踪、分类、检索、分割；医学任务：细胞检测，人体透视图，对动态图进行识别等；无人驾驶。 检索：输入一张图像，判断是什么，返回有相似度的其他图片。 如上传 梅
阅读全文
摘要：线性函数 也可以称为 得分函数 假设十分类 W 为权重参数，里面每一个数值代表这个点的重要性；正值是促进作用，负数代表抑制作用；控制着决策边界。这里有10 行数据； b 为偏置，微调； 损失函数 \(L_I = \sum_{j \neq y_i} max(0, s_j - s_{y_i} + 1)\
阅读全文
摘要：常用 User Guide (建议通读) https://scikit-learn.org/stable/user_guide.html ApacheCN：scikit-learn (sklearn) 官方文档中文版 https://sklearn.apachecn.org https://gith
阅读全文
摘要：转载自：https://mp.weixin.qq.com/s/tJbOw5O4ZU-Iqm6uwv8Q6Q 匿名用户回答： 从一个cv内卷失败者的角度来聊一下。cv难的地方主要包含创新算法，模型底层加速和部署。 前者就是各种大佬，既能够提出好的idea，又能够解决实现idea的各种问题，刚开始ide
阅读全文
摘要：使用 minst = fetch_mldata('MINST original') 获取数据的时候，提示这个错误 ConnectionResetError: [Errno 54] Connection reset by peer 看到这篇博文一步步往下走，解决了问题 https://blog.csd
阅读全文
摘要：查看数据信息 数据异常 空数据 数据不均衡 数据归一化 大量数据 预处理方法 数据的归一化 数据引入 csv html, html、sax、dom 解析器 xml databases，pyodbc json pdf， pdfminer 查看数据信息 DataFrame的基础属性 DataFrame的
阅读全文
摘要：训练集 & 测试集 如果拿所有原始数据来训练，存在的问题： 模型很差无法调整； 真实环境难以拿到真实 label； 所以将数据区分为 训练数据 和 测试数据（train test split）； 将训练数据来训练模型；然后用测试数据测试模型； 使用这种方式也存在问题； python 原生分离 iri
阅读全文
摘要：什么是机器学习？ 传统计算机任务：编写规则，让计算机去执行 机器学习：让计算机去学习，自定义规则 传统任务遇到的问题： 1、对于很多问题，规则难以制定； 2、规则在不断变化。 人工智能、机器学习、深度学习 机器学习是AI 的一种方法； AI 还有其他解决方法，如： 以搜索为基础的算法(传统的搜索策略
阅读全文
浙公网安备 33010602011771号