悦光阴

摘要： 数组索引是指使用中括号 [] 来定位数据元素，不仅可以定位到单个元素，也可以定位到多个元素。索引基于0，并接受从数组末尾开始索引的负索引。 举个例子，正向索引从0开始，从数组开始向末尾依次加1递增；负向索引从-1开始，逐个元素 -1 ，不管使用正向索引还是负向索引，最右侧的元素的索引值是最大的，最左 阅读全文

摘要： 数据框是用于存储数据的二维结构，分为行和列，一行和一列的交叉位置是一个cell，该cell的位置是由行索引和列索引共同确定的。可以通过at/iat，或loc/iloc属性来访问数据框的元素，该属性后跟一个中括号：[row,col]，中括号内 row表示行索引或行标签，col表示列索引或列标签。如果省 阅读全文

摘要： 在日常的数据处理中，经常会对一个DataFrame进行逐行、逐列和逐元素的操作，对应这些操作，Pandas中的map、apply和applymap可以解决绝大部分这样的数据处理需求。 一，apply apply是指沿着DataFrame的轴（axis）调用一个函数： DataFrame.apply( 阅读全文

摘要： 测试的版本：SQL Server 2017 内存优化表上可以创建哈希索引（Hash Index）和内存优化非聚集（NONCLUSTERED）索引，这两种类型的索引也是内存优化的，称作内存优化索引，和基于硬盘的传统索引有很大的区别： 索引结构存储在内存中，没有索引碎片和填充因子 对索引所作的更新不会写 阅读全文

摘要： 在实际的数据处理中，通常需要按照特定的需求对数据的格式进行处理，透视操作和逆透视操作有时是不可逆的。 一，透视和逆透视操作示例 数据透视的过程如下图所示，以Year为索引，按照Course列来透视Earning，把数据从长格式转换为宽格式： 数据逆透视的过程如下图所示，把数据从宽格式转换为长格式： 阅读全文

摘要： Index对象负责管理轴标签、轴名称等元数据，是一个不可修改的、有序的、可以索引的ndarry对象。在构建Sereis或DataFrame时，所用到的任何数据或者array-like的标签，都会转换为一个Index对象。Index对象是一个从索引到数据值的映射，在pandas中，axis=0 表示行 阅读全文

摘要： 在数组中，用axis(轴)表示维度，对于三维数组，axis参数的取值通常有： 当axis=None时，表示把数组展开为一维数组； 当axis=0时，表示按照行（第一维）进行计算； 当axis=1时，表示按照列（第二维）进行计算； 当axis=2时，表示按照深度（第三维度）进行计算。 对NumPy的数 阅读全文

摘要： 序列内置一些函数，用于循环对序列的元素执行操作。 一，应用和转换函数 应用apply 对序列的各个元素应用函数： Series.apply(self, func, convert_dtype=True, args=(), **kwds) 参数注释： func：应用的函数，可以是自定义的函数，或Num 阅读全文

摘要： 字典是键/值对构成的集合，字典通过大括号来创建，字典的键是字符串，而值可以是任何数据对象。 字典有两个重要的特征： 字典是无序的，字典项没有特定的顺序，只能通过键来获取值； 字典是可变的，支持原处修改键的值； 字典是作为散列表来实现的，可增长，搜索非常快速； 和列表一样，字典存储的是对象的引用，不是 阅读全文

摘要： 序列是一维数组，只有一个维度（或称作轴）是行（row），在访问序列时，只需要设置一个索引。序列(Series)是由一组相同类型的数据，以及一组与之相关的行标签（索引）组成，序列要求存储的数据类型是相同的。 在创建序列时，如果没有设置索引，那么pandas自动为序列创建了一个从0开始到N-1的序号，称 阅读全文

摘要： pandas是基于NumPy构建的模块，是数据分析必不可少的包之一，通常情况下，引入pandas的约定，只要在代码中看到pd，就要联想到pandas： import pandas as pd pandas包含两种最主要数据结构：序列（Series）和数据框（DataFrame）。对于这两个数据结构， 阅读全文

摘要： 关于计算上下文的规则： 筛选上下文用于筛选数据。 行上下文用于迭代。 注意：行上下文不用于筛选，也就是说行上下文对应的筛选上下文为空，而CALCULATE函数可以把行上下文转换为筛选上下文。 一，CALCULATE函数根据行上下文创建筛选上下文 CALCULATE函数的强大之处：根据行上下文创建筛选 阅读全文

摘要： 表连接是指两张表根据关联字段，组合成一个数据集。表连接不仅可以利用数据模型中已有的关系，而且可以利用DAX表达式基于表的任意列定义连接条件。因此，在DAX中，实现表与表之间的连接，有两种方式： 第一种方式：利用数据模型中的现有关系，以便查询包含在不同表中的数据。 第二种方式：编写 DAX 表达式创建 阅读全文

摘要： SUMMARIZECOLUMNS是一个专门用于查询和计算表的函数，主要包含分组列和扩展列。 分组列是用于分组的列，只能来源于基础表中已有的列，分组列可以来源于同一个表，也可以来源于相关的列。 扩展列是由name和expression对构成的，name是字符串，expression是包含聚合函数的表达 阅读全文

摘要： 阻塞就是常说的等待（wait），是指事务A等待特定的资源得到满足之后，才能继续执行下去。发生阻塞的另外一种情况是被其他事务阻塞。阻塞对性能的影响，有时会比死锁更严重，这是因为死锁持续的时间非常短，SQL Server 一旦探测到死锁的发生，就会立即杀死一个进程，以结束死锁，使其他进程能够正常运行下去 阅读全文

摘要： 隔离级别定义事务处理数据读取操作的隔离程度，在悲观并发模式下，隔离级别只会影响读操作申请的共享锁（Shared Lock），而不会影响写操作申请的互斥锁（Exclusive Lock），隔离级别控制读操作的行为： 在读数据时是否使用共享锁，申请何种类型的锁； 事务持有共享锁的时间； 读操作引用被其他 阅读全文

摘要： 数据库引擎的工作流程可以归纳为接收请求、执行请求和返回结果。数据库引擎每接收到一个新的查询请求（Query Request），查询优化器就会执行以下工作流程： 编译请求：对TSQL语句进行语法解析，编译请求，生成TSQL语句表示的逻辑结构。 查询优化：根据TSQL语句的逻辑结构，生成多个预估的执行方 阅读全文

摘要： Windows 任务调度程序（Task Scheduler）可以定时执行程序，本文分享使用Task Scheduler定时执行Python脚本的两种方法。 在控制面版->管理员工具中打开 Task Scheduler ： 在Task Scheduler Library中创建一个新的文件夹demo，右 阅读全文

摘要： K最邻近（k-Nearest Neighbors，KNN）分类是一种监督式的分类方法，首先根据已标记的数据对模型进行训练，然后根据模型对新的数据点进行预测，预测新数据点的标签（label），也就是该数据所属的分类。 一，knn算法的逻辑 knn算法的核心思想是：如果一个数据在特征空间中最相邻的k个数 阅读全文

摘要： sklearn.preprocessing包提供了几个常用的转换函数，用于把原始特征向量转换为更适合估计器的表示。 转化器(Transformer)用于对数据的处理，例如标准化、降维以及特征选择等，提供的函数大致是： fit(x,y):该方法接受输入和标签，计算出数据变换的方式。 transform 阅读全文