随笔分类 - databook
数据采集
摘要：BulletedList是Mobjects分类中用来显示列表的class。使用BulletedList可以帮助我们快速生成一个对齐的列表结构。BulletedList在manim各个模块中的位置如上图中所示。 1. 主要参数 BulletedList的主要参数有： 参数名称 类型 说明 items
阅读全文
摘要：Title比较简单，是Mobjects分类中专门用来标题的一个class。其实Title主要就是文字和线两部分，自己封装也不难。不过，直接用Title可以省去调整位置的麻烦，它会确保标题显示在视频的顶端。Title在manim各个模块中的位置如上图中所示。 主要参数 Title的目的很简单，就是为了
阅读全文
摘要：开发业务系统时，是绕不开RDBMS（关系型数据库）的。虽然现在诞生了各种NoSQL的数据库，RDBMS在业务系统中的严谨和优势依然无法取代。 近几年大大小小的项目中，常用的三种RDBMS（SQLite，MySQL，Postgres）都有多次接触过，一些使用心得记录如下，供大家参考。 1. SQLit
阅读全文
摘要：Variable是Mobjects分类中专门用来显示变量的一个class。前面两篇介绍的Integer和DecimalNumber都可以作为变量Variable来显示。Variable在manim各个模块中的位置如上图中所示。 1. 主要参数 Variable以label = value的形式展示数
阅读全文
摘要：Integer是Mobjects分类中专门用来显示整数的一个class。它与上一篇介绍的DecimalNumber类不同之处在于，它只专注于整数的显示。Integer在manim各个模块中的位置如上图中所示。 1. 主要参数 Integer是继承自DecimalNumber的，所以使用Integer
阅读全文
摘要：DecimalNumber是Mobjects分类中专门用来显示数字的一个class。它的主要功能是提供一种展示数字的方式，包括整数和浮点数。DecimalNumber在manim各个模块中的位置如上图中所示。 1. 主要参数 虽然只是数字的展示，但是manim也提供了丰富的参数，可以在不同的场景中用
阅读全文
摘要：最近在记录一些简单的结构化日志信息时，用到了sqlite3数据库（保存的信息比较简单，用Mysql，SQL Server，Postgres这些数据库有点小题大做）。 以前开发系统时，用Mysql和Postgres比较多，sqlite3接触不多，这次使用，希望sqlite3也能提供几个基本的功能，比如
阅读全文
摘要：在开发工作中，虽然CPU，内存和硬盘都是必不可少的硬件，不过，编程中，我们常常受到困扰的往往是内存相关的bug（编程中遇到CPU和硬盘相关的bug极少）。 这是因为我们的程序和数据虽然是存放在硬盘上的，但是运行时，CPU并不是直接从硬盘加载程序和数据的。直接从硬盘读取指令非常慢，会成为整个系统的严重
阅读全文
摘要：我们在使用分类算法训练数据后，评价分类模型的优劣时，经常会遇到一个词，“基尼系数”。那么，什么是基尼系数呢？ 本文将尝试用最简单的方式介绍什么是“基尼系数”以及它的计算方法和意义。希望能让大家对基尼系数有个直观的印象，而不仅仅是记住它枯燥的计算公式。 1. 从分类模型开始 首先，先假设有一个分类案例
阅读全文
摘要：神经网络是深度学习的基础，正是深度学习的兴起，让停滞不前的人工智能再一次的取得飞速的发展。 其实神经网络的理论由来已久，灵感来自仿生智能计算，只是以前限于硬件的计算能力，没有突出的表现，直至谷歌的AlphaGO的出现，才让大家再次看到神经网络相较于传统机器学习的优异表现。 本文主要介绍神经网络中的重
阅读全文
摘要：时间序列数据是数据分析中经常遇到的类型，为了更多的挖掘出数据内部的信息，我们常常依据原始数据中的时间周期，将其转换成不同跨度的周期，然后再看数据是否会在新的周期上产生新的特性。 下面以模拟的K线数据为例，演示如何使用pandas来进行周期转换。 1. 创建测试数据 首先创建测试数据，下面创建一天的K
阅读全文
摘要：theme: smartblue 最近在做交易数据的统计分析时，多次用到数据行之间的一些操作，对于其中的细节，简单做了个笔记。 1. shfit函数 shift函数在策略回测代码中经常出现，计算交易信号，持仓信号以及资金曲线时都有涉及。这个函数的主要作用是将某列的值上下移动。默认情况下，shift函
阅读全文
摘要：在数据分析工作中，针对百万，千万级别的数据进行分析是常有的事情，因此，分析代码性能的重要性不容忽视，能够有一个方便快速的测试函数性能的方法，对于我们快速发现性能瓶颈，及时优化，提高项目的开发效率至关重要。 本文介绍如何通过Python装饰器来实现性能计时工具，帮助我们在不改变现有代码的基础上，随时测
阅读全文
摘要：重试机制在编程中是比较常见的场景，主要被用于处理那些可能由于临时性故障或网络波动等原因而失败的操作。 本文介绍如何通过Python装饰器来实现重试机制，从而能够在尽量少修改现有代码的基础上，给其中某些函数加上重试机制。 1. 概要 关于Python的装饰器，只是一个语法糖，原理也比较简单，这里不在赘
阅读全文
摘要：print是我们平时写些python小工具时，最常用的调试工具。因为开发代码时，常常通过print将执行流程、变量的值以及其他关键信息输出到控制台来观察，以便了解程序执行情况和调试bug。 但是，print的输出过于简单，在输出变量内容，函数调用，执行过程等相关信息时，往往需要自己手动去补充很多的输
阅读全文
摘要：Numpy其实是最早的处理数据的Python库，它的核心ndarray对象，是一个高效的n维数组结构。 通过这个库，可以高效的完成向量和矩阵运算，由于其出色的性能，很多其他的数据分析，科学计算或者机器学习相关的Python库都或多或少的依赖于它。 Pandas就是其中之一，Pandas充分利用了Nu
阅读全文
摘要：在数据分析相关的工作中，Pandas无疑是一个强大的工具，它的易用性和灵活性广受青睐。然而，随着数据量的不断增长和计算需求的日益复杂，Pandas代码的性能问题也逐渐浮出水面。如何让Pandas代码运行得更快、更高效，成为了每一个人使用者都需要面对的挑战。 今天，本文就一个简化版的实际分析案例，来一
阅读全文
摘要：dataclass是从Python3.7版本开始，作为标准库中的模块被引入。随着Python版本的不断更新，dataclass也逐步发展和完善，为Python开发者提供了更加便捷的数据类创建和管理方式。 dataclass的主要功能在于帮助我们简化数据类的定义过程。本文总结了几个我平时使用较多dat
阅读全文
摘要：我们在使用pandas处理完数据之后，最终总是要把数据作为一个文件保存下来，那么，保存数据最常用的文件是什么呢？我想大部分人一定会选择csv或者excel。 刚接触数据分析时，我也是这么选择的，不过，今天将介绍几种不一样的存储数据的文件格式。这些文件格式各有自己的一些优点，希望本文能让你以后的数据存
阅读全文
摘要：Pandas无疑是我们数据分析时一个不可或缺的工具，它以其强大的数据处理能力、灵活的数据结构以及易于上手的API赢得了广大数据分析师和机器学习工程师的喜爱。 然而，随着数据量的不断增长，如何高效、合理地管理内存，确保Pandas DataFrame在运行时不会因内存不足而崩溃，成为我们每一个人必须面
阅读全文
浙公网安备 33010602011771号