随笔分类 - 数据分析
摘要：[TOC] 一、什么是数据可视化 数据可视化在量化分析当中是一个非常关键的辅助工具. 往往我们需要通过可视化技术，对我们的数据进行更清晰的展示，这样也能帮助我们理解交易、理解数据。 通过数据的可视化也可以更快速的发现量化投资中的一些问题，更有利于分析并解决它们。接 下来我们主要使用的可视化工具包叫做
阅读全文
摘要：[TOC] 一、数据操作介绍 数据操作最重要的一步也是第一步就是收集数据. 而收集数据的方式有很多种，第一种就是我们已经将数据下载到了本地，在本地通过文件进行访问. 第二种就是需要到网站的API处获取数据或者网页上爬取数据. 还有一种可能就是你的公司里面有自己的数据库，直接访问数据库里面的数据进行分
阅读全文
摘要：[TOC] 1. 获取数据 2. 数据规整 因为获取到的数据是根据初生年份分为了多个文件，其中文件内部的数据也是简单的通过逗号分隔而成的，所以需要规整一下 部分结果如下： 通过以上操作就可以将所有的数据文件合并成一个数据集，接下来就可以进行具体的数据分析 3.数据分析 有了以上的数据集就可以利用它们
阅读全文
摘要：[TOC] 一、什么是Pandas 当大家谈论到数据分析时，提及最多的语言就是Python和SQL 而Python之所以适合做数据分析，就是因为他有很多强大的第三方库来协助 pandas就是其中之一，它是基于Numpy构建的，正因pandas的出现，让Python语言也成为使用最广泛而且强大的数据分
阅读全文
摘要：为什么要用numpy .jpg) 为什么要用ndarray .jpg) 怎么用numpy .jpg) .jpg) 讲一下图中 In[59]的例子，这里的问题是 列表，和数组有什么区别 首先要知道一个点，你只要理清了这个点，就知道答案了。 那就是，列表里存的都是什么？ 答案：列表里存的都是一个个地址，
阅读全文
摘要：IPython介绍 ipython 是一个 python 的交互式 shell ，比默认的 python shell 好用得多，支持变量自动补全，自动缩进，支持 bash shell命令，内置了许多很有用的功能和函数。学ipython 将会让我们以一种更高的效率来使用 python 。同时它也是利用
阅读全文
摘要：介绍几个基础数组统计方法： 1、 sum()：沿着轴向计算所有原色的累和，0长度的数组累和为0 2、mean()：求数学平均，0长度的数组平均值为NaN 3、cumsum()：从0 开始元素累积和 4、cumprod()：从1开始元素累积积 axit这个参数很重要，如果不写的话就会把你的结果变成是一
阅读全文
摘要：这一章就讲解 numpy.where 函数。 他是三元表达式 的向量化版本。 三元表达式： x if condition else y 在 cond 中的元素为 True 时，我们取 xarr 中对应的元素值，反之取 yarr 中的元素，可以通过列表推导式来完成，如下 这样会产生多个问题，首先如果数
阅读全文
摘要：使用数组进行面向数组编程 使用 NumPy 数组可以使你利用简单的数组表达式完成多种数据操作人物，而无需写大量的循环，这种利用数组表达式来代替显式循环的方法，称为 向量化 。 通常，向量化的数组操作会比纯Python的等价实现在速度上快一到两个数量级，甚至更多。 meshgrid 函数 一句话解释
阅读全文
摘要：在上一篇的数组转置和换轴之中，换轴的时候书本上用到了 transpose 这个方法，然后数组就莫名其妙的发生了变化，而且根本让人看不懂。于是我就去百度了很久关于 transpose 函数的用法。 总结了以下心得。 一开始我以为 transpose方法只是单纯的把三维数组的每个基层元素的x和y对调了以
阅读全文
摘要：通用函数也可以称为 ufunc， 是一种在 ndarray 数据中进行逐元素操作的函数。某些简单函数接受了一个或者多个标量数值，并产生一个或多个标量结果，而通用函数就是对这些简单函数的向量化封装。 有很多 ufunc 是简单的逐元素转换，比如 sqrt 和 exp 函数： 这些就是所谓的一元通用函数
阅读全文
摘要：转置是一种特殊的 数据重组形式，可以返回底层数据的视图而不需要复制任何内容。数组拥有transpose方法，也有特殊的 T 属性： 关于数组的换轴，在下一篇博客有详解。
阅读全文
摘要：神奇索引 为了选出一个符合特定顺序的子集，可以简单的通过传递一个包含指明所需顺序的列表或数组来完成： 打印结果： 也可以通过负的索引来。就不写上栗子了。 传递多个索引数组时，情况有些不同，这样会根据每个索引元组对应的元素选出一个一维数组 打印结果： 在上面的栗子中，元素（1,0）、（5,3）、（7,
阅读全文
摘要：布尔索引 python names = np.array(['bob', 'joe','will', 'bob', 'will', 'joe', 'joe'] ) data = np.random.randn(7,4) 生成一个七乘四的随机正态分布数组 print(names) print(data
阅读全文
摘要：基础索引与切片 首先你新创建了额一个 ndarray 数组： 和python的列表相似的，你可以通过索引和切片来取值 6 [5 6 7] 和列表一样，数组里的切片取值也是顾头不顾尾，并且索引是从0开始的。 重要的一个例子 [ 0 1 2 3 24 24 6 7 8 9] 是的，区别于Python的内
阅读全文
摘要：NumPy数组算术 数组之所以重要是因为他允许你进行批量操作而无需任何循环语句，NumPy用户称这种特性为向量化。任何在两个等尺寸数组织之间的算术操作都应用了逐元素操作的方式。 [[1 2 3] [4 5 6]] / [[ 1 4 9] [16 25 36]] / [[0 0 0] [0 0 0]]
阅读全文
摘要："NumPy 生成ndarray" "NumPy ndarray 的数据类型" "NumPy 数组算术" "NumPy 基础索引与切片" "NumPy 布尔索引" "神奇索引" "数组的转置和换轴" "NumPy的transpose方法详解" "通用函数：快速的逐元素数组函数" "使用数组进行面向数
阅读全文
摘要：ndarray 的数据类型 数据类型，即 dtype ，也是一个特殊的对象， 它包含了ndarray需要为某一种类型数据所申明的内存块信息（也成为了元数据，即表示数据的数据） dtype是NumPy能够与琪他系统数据灵活交互的原因。通常，其他系统提供一个硬盘或内存与数据的对应关系，使得利用C或For
阅读全文
摘要：NumPy ndarray：多维数组对象 NumPy的核心特征之一就是 N 维数组对象——ndarray。 ndarray是Python中的一个快速、灵活的大型数据集容器。数字允许你使用类似于标量的操作语法在整块数据上进行数学计算。 首先要导入NumPy模块 生成ndarray 生成数组对象最简单的
阅读全文
浙公网安备 33010602011771号