随笔分类 -  大数据

数据安全之认识数据资产管理平台
摘要：文章目录 一、什么是数据资产二、什么是数据资产管理平台1、什么是数据资产管理平台2、为什么需要数据资产管理平台 三、数据资产管理平台的主要功能四、数据资产管理平台的工作原理五、数据资产管理平台的应用场景六、安全资产管理平台与数据资产管理平台的区别与关系1、安全资产管理平台与数据资产管理平台的区别2、 阅读全文
posted @ 2024-02-18 12:53 xiejava 阅读(136) 评论(0) 推荐(0)
pandas将dataframe列中的list转换为多列
摘要：在应用机器学习的过程中，很大一部分工作都是在做数据的处理，一个非常常见的场景就是将一个list序列的特征数据拆成多个单独的特征数据。 比如数据集如下所示： data = [['John', '25', 'Male',[99,100,98]], ['Emily', '22', 'Female',[97 阅读全文
posted @ 2023-12-26 16:51 xiejava 阅读(286) 评论(0) 推荐(0)
pandas对波形异常数据处理实战
摘要：做数据分析很大一部分工作量都是在对数据处理，因为数据来源的质量问题，不能保证所有的数据都是正常的。对于数据分析和处理来说pandas无疑是常用的利器。下面通过一个实例来用pandas对波形异常数据进行实战处理 读取数据 import numpy as np import pandas as pd i 阅读全文
posted @ 2023-12-18 11:20 xiejava 阅读(61) 评论(0) 推荐(0)
Python进行数据相关性分析实战
摘要：平时在做数据分析的时候，会要对特征进行相关性分析，分析某些特征之间是否存在相关性。本文将通过一个实例来对数据进行相关性分析与展示。 一、数据集介绍 本次分析的是企业合作研发模式效果分析，企业的合作研发大致分为 企企合作、企学合作、企研合作、企学研合作，也就是企业与企业合作研发、企业与大学合作研发、企 阅读全文
posted @ 2023-08-31 17:55 xiejava 阅读(367) 评论(0) 推荐(0)
Python实现简单信号滤波实战
摘要：在有些项目中需要对信号进行滤波处理，尤其是在医疗的设备中如心跳、脉搏等设备的采样后进行处理。滤波的目的就是除去某些频率的信号如噪声。常见的包括有低通滤波、高通滤波、带通滤波。 低通滤波指的是去除高于某一阈值频率的信号；高通滤波去除低于某一频率的信号；带通滤波指的是类似低通高通的结合保留中间频率信号； 阅读全文
posted @ 2023-03-13 15:11 xiejava 阅读(112) 评论(0) 推荐(0)
pandas数据处理之数据转换(映射map、替换replace、重命名rename)
摘要：我们在数据处理的过程中经常碰到需要对数据进行转换的工作，比如将原来数据里的字典值根据字典转义成有意义的说明，将某些数据转换成其他的数据，将空值转换成其他值，将数据字段名进行重命名等。pandas作为数据处理分析的利器当然为上述的这些数据转换提供了便捷的方法。我们可以利用pandas提供的映射、替换、 阅读全文
posted @ 2022-02-04 21:58 xiejava 阅读(142) 评论(0) 推荐(1)
pandas数据分析之数据运算(逻辑运算、算术运算、统计运算、自定义运算)
摘要：数据分析离不开数据运算，在介绍完pandas的数据加载、排序和排名、数据清洗之后，本文通过实例来介绍pandas的常用数据运算，包括逻辑运算、算术运算、统计运算及自定义运算。 一、逻辑运算 逻辑运算是程序代码中经常用到的一种运算。pandas的逻辑运算与Python基础语法中的逻辑运算存在一些差异。 阅读全文
posted @ 2022-02-03 13:01 xiejava 阅读(144) 评论(0) 推荐(0)
pandas数据清洗之处理缺失、重复、异常数据
摘要：在数据分析和建模的过程中，有相当多的时间要用在数据准备上：加载、清理、转换以及重塑。这些工作会占到分析师时间的80%或更多。幸运的是pandas和内置的Python标准库提供了高效、灵活的工具可以帮助我们轻松的做这些事情。 本文重点介绍通过pandas进行数据的清洗。数据处理中的清洗工作主要包括对需 阅读全文
posted @ 2022-02-02 00:21 xiejava 阅读(197) 评论(0) 推荐(0)
pandas数据分析之排序和排名(sort和rank)
摘要：对数据集进行排序和排名的是常用最基础的数据分析手段，pandas提供了方便的排序和排名的方法，通过简单的语句和参数就可以实现常用的排序和排名。 本文以student数据集的DataFrame为例来演示和介绍pandas数据分析之排序和排名(sort和rank)。 数据集内容如下，包括学生的学号、姓名 阅读全文
posted @ 2022-01-30 09:04 xiejava 阅读(317) 评论(0) 推荐(0)
pandas数据结构(Series和DataFrame)
摘要：简介 无可非议，pandas是Python最强大的数据分析和探索工具之一，因金融数据分析工具而开发，支持类似于SQL语句的模型，可以对数据进行增删改查等操作，支持时间序列分析，也能够灵活的处理缺失的数据。它含有使数据分析工作变得更快更简单的高级数据结构和操作工具。pandas是基于NumPy构建的， 阅读全文
posted @ 2022-01-23 18:57 xiejava 阅读(49) 评论(0) 推荐(0)
pandas数据加载(csv、excel、json、mysql、webAPI)
摘要：pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。pandas提供了大量能 阅读全文
posted @ 2022-01-22 17:20 xiejava 阅读(53) 评论(0) 推荐(0)