01 2021 档案

深度学习 – 微积分、信息论 - 基本概念
摘要：微积分 导数：当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f'(x0)或df(x0)/dx。其图像表示为如下： 类似的概念还有：二维空间中的“切线”。 偏导数：当需要让其他变量不变，只 阅读全文
posted @ 2021-01-30 21:02 划水De雁小明 阅读(276) 评论(0) 推荐(0)
网络技术 - 抓包代理工具：Fiddler （数据采集）
摘要：博客在前面几篇随笔中，介绍了在网络环境中浏览器和服务器之间交互的相关内容，下面主要主要从7个方面介绍一款网络抓包代理工具Fiddler，它可以帮助前端开发者和数据分析人员解决很多问题。 一、Fiddler设置（PC端） Fiddler默认是只能抓取http网络格式的，所以我们要先设置下使Fiddle 阅读全文
posted @ 2021-01-24 20:02 划水De雁小明 阅读(948) 评论(0) 推荐(0)
属于线性代数，在深度学习领域的主要概念
摘要：深度学习核心的数据结构是标量、向量、矩阵和张量。 “张量”专属于深度学习TensorFlow框架的名词，这篇先简单汇总线性代数范围内的三种结构及其运算规则：标量、向量、矩阵。以及深度学习领域常用的一个概念：范数 1. 标量 只有数值大小，没有方向的量。 2. 向量及其运算 （常使用的Python扩展 阅读全文
posted @ 2021-01-20 18:23 划水De雁小明 阅读(421) 评论(0) 推荐(0)
PDF转文本 & 图片ORC - 在线App自动转 - 数据处理 （R）
摘要：在线转换PDF和图片文件 大数据处理的过程中，我们会遇到很多不同类型的数据，其中PDF和图片类文件最为常见，若需要整理这些类型的以便于后期数据分析或展示，而将它们输出成文本格式或关系型表格形式，会是个较好的选择。所以针对这个主题，制作了一个APP专门解决这两类文件格式的转换问题。如下是本地操作视频： 阅读全文
posted @ 2021-01-12 23:33 划水De雁小明 阅读(597) 评论(0) 推荐(0)
相似度判定 - SQL - 关系型数据库
摘要：Structured Query Language —— “结构化查询语言简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。 结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也 阅读全文
posted @ 2021-01-10 15:36 划水De雁小明 阅读(935) 评论(0) 推荐(0)
数据库操作 - 关系型数据库 - SQL Server & My SQL
摘要：关系型数据库，“是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维 阅读全文
posted @ 2021-01-07 08:41 划水De雁小明 阅读(539) 评论(0) 推荐(0)
数据库操作 - NO SQL 数据库 - MongoDB
摘要：NoSQL，泛指非关系型的数据库：“随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了 阅读全文
posted @ 2021-01-07 08:26 划水De雁小明 阅读(265) 评论(0) 推荐(0)
文本分析 - 聚类分析 （数据挖掘）
摘要：文本分析，在数据挖掘，甚至是深度学习中很重要的分支研究领域。如下运用R语言，通过采用文本相似度算法Jaro-Winkler Distance，能实现： 在题库中查找出相似度高的题并输出自动聚类的结果，从而提炼出练习重点，提高阅读效率。 ## 寻找练习重点 library('xlsx') librar 阅读全文
posted @ 2021-01-07 08:09 划水De雁小明 阅读(1677) 评论(0) 推荐(0)
查看系统端口
摘要：查看系统端口使用DOS命令：netstat -an 3306 在windows中dos命令netstat可以查看当前端口使用情况的, 这个命令带有很多参数可用，可以通过 -help参数来查看，比如： 要查看所有的连接和监听端口，可以加上-a参数， 要显示每个连接所属的进程id，可以加上-o参数； 查 阅读全文
posted @ 2021-01-05 22:24 划水De雁小明 阅读(314) 评论(0) 推荐(0)
Docs-常用内外部命令
摘要：常用的内部命令有MD、CD、RD、DIR、PATH、COPY、TYPE、EDIT、REN、DEL、CLS、VER、DATE、TIME、PROMPT。 常用的外部命令有DELTREE、FORMAT、DISKCOPY、LABEL、VOL、SYS、XCOPY、FC、ATTRIB、MEM、TREE。 1．M 阅读全文
posted @ 2021-01-05 22:22 划水De雁小明 阅读(499) 评论(0) 推荐(0)
网络命令大全
摘要：compmgmt.msc - 计算机管理 net stop messenger - 停止信使服务 conf - 启动netmeeting dvdplay - DVD播放器 charmap - 启动字符映射表 diskmgmt.msc - 磁盘管理实用程序 calc - 启动计算器 dfrg.msc 阅读全文
posted @ 2021-01-05 22:21 划水De雁小明 阅读(459) 评论(0) 推荐(0)
Windows运行命令全集
摘要：winver - 检查Windows版本 dxdiag - 检查DirectX信息 mem.exe - 显示内存使用情况 Sndvol32 - 音量控制程序 sfc.exe - 系统文件检查器 gpedit.msc - 组策略 regedit.exe - 注册表 Msconfig.exe - 系统配 阅读全文
posted @ 2021-01-05 22:19 划水De雁小明 阅读(134) 评论(0) 推荐(0)
大数据体系
摘要：大数据：是数据科学中的一个分支。至于数据科学，其被认为是数学，计算机知识和某个专业领域知识的交叉学科。计算机知识和数学的交集区域，被称为机器学习；数学和某专业领域知识的交集，属于传统研究范畴。而且大数据领域又可以划分为几个主要的方向： 数据平台 （Data Platform）: 构建、维护稳定、安全 阅读全文
posted @ 2021-01-05 22:18 划水De雁小明 阅读(655) 评论(0) 推荐(0)
注册表
摘要：什么是注册表？ 从Windows 95开始，Microsoft在Windows中引入了注册表（英文为REGISTRY）的概念（实际上原来在Windows NT中已有此概念）。注册表是Windows 95及Windows 98的核心数据库，表中存放着各种参数，直接控制着Windows的启动、硬件驱动程 阅读全文
posted @ 2021-01-05 22:15 划水De雁小明 阅读(834) 评论(0) 推荐(0)
Python 爬虫 - 正则表达式
摘要：“正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强 阅读全文
posted @ 2021-01-04 18:14 划水De雁小明 阅读(206) 评论(1) 推荐(0)
Python 爬虫 - Scrapy框架原理
摘要：Python 爬虫包含两个重要的部分：正则表达式和Scrapy框架的运用， 正则表达式对于所有语言都是通用的，网络上可以找到各种资源。 如下是手绘Scrapy框架原理图，帮助理解 如下是一段运用Scrapy创建的spider：使用了内置的crawl模板，以利用Scrapy库的CrawlSpider。 阅读全文
posted @ 2021-01-03 20:04 划水De雁小明 阅读(254) 评论(0) 推荐(0)
机器学习 - 相关概念与实现流程
摘要：一个重要的闭环： 机器学习-数据挖掘的流程（CRISP-DM）：围绕数据进行如下6个活动进行闭环式地探索活动 商业理解 数据理解 数据准备 建立模型 模型评估 方案实施 一个重要的概念： 特征工程：最大限度地从原始数据中提取特征以供算法和模型使用，包括如下几个主要部分： 数据预处理：标准化、缩放、缺 阅读全文
posted @ 2021-01-02 22:18 划水De雁小明 阅读(354) 评论(0) 推荐(0)
BI ：数据展示 - 图表类型和使用场景
摘要：图表类型和使用场景： 比较（对比各个值之间的差异）：柱状图、雷达图、漏斗图、极坐标、旋风漏斗、词云 占比（部分占整体的百分比）：饼图、漏斗、仪表盘、矩阵树图 相关（显示各个值之间的关系）：散点、矩阵树图、指标看板、树图、来源去向图 趋势（数值随维度的变化情况）：线图、柱状图 地理图（数值和地理信息映 阅读全文
posted @ 2021-01-01 21:11 划水De雁小明 阅读(1235) 评论(0) 推荐(0)
BI：数据展示-图表的数据要素以及图例展示
摘要：图表的数据要素以及图例展示 主要图表类型包括： 线图：包括类别轴和值轴，类别轴上最少1个维度；值轴上最少1个度量 柱状图：包括类别轴和值轴，类别轴上最少1个维度；值轴上最少1个度量 饼图：包括扇区标签和扇区角度，扇区标签上有且仅有1个维度，并且维度值小于等于12；扇区角度上有且仅有1个度量 气泡地图 阅读全文
posted @ 2021-01-01 21:08 划水De雁小明 阅读(1502) 评论(0) 推荐(0)