夜的独白

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

07 2021 档案

摘要:1、Numpy 对于科学计算,它是Python创建的所有更高层工具的基础。以下是它提供的一些功能: a、N维数组,一种快速、高效使用内存的多维数组,它提供矢量化数学运算 。 b、你可以不需要使用循环,就对整个数组内的数据进行标准数学运算。 c、非常便于传送数据到用低级语言(如C或C++)编写的外部库 阅读全文
posted @ 2021-07-12 15:00 夜的独白 阅读(1602) 评论(0) 推荐(0)

摘要:一.数据背景及问题描述 数据来源 :课题来源于天池大赛,数据来源于中国人民大学中国调查与数据中心《中国综合社会调查(CGSS)》项目,为多阶分层抽样的截面面访调查。 研究背景 :在社会科学领域,幸福感的研究占有重要的位置。这个涉及了哲学、心理学、社会学、经济学等多方学科的话题复杂而有趣;同时与大家生 阅读全文
posted @ 2021-07-12 14:57 夜的独白 阅读(1469) 评论(0) 推荐(1)

摘要:上一章给大家介绍了如何查看数据与选取你所需要的数据,这篇给大家介绍一下选择完数据如何对数据进行处理。 往往我们拿到的数据经过查看过都会存在一些不能满足需求的问题,这时就可能需要对原数据进行一些修改与整理。比如:Python字段名修改、列名选择修改、索引重置、异常值替换、数据类型转化、数据组合等。还是 阅读全文
posted @ 2021-07-12 14:54 夜的独白 阅读(236) 评论(0) 推荐(0)

摘要:文章目录 * * * 1、明确需求和目的 * 2、 数据收集 * 3、数据预处理 * * 3.1 数据整合 * * 3.1.1 加载相关库和数据集 * 3.1.2 主要数据集概览 * 3.2 数据清洗 * * 3.2.1 多余列的删除 * 3.2.2 数据类型转换 * 3.2.3 缺失值处理 * 3 阅读全文
posted @ 2021-07-12 14:43 夜的独白 阅读(2299) 评论(1) 推荐(0)

摘要:电商平台零售数据分析 前面的博客中已经有使用在线零售业务数据进行数据分析,但是在这一篇,我们以不同的角度重新对这些数据进行分析。 数据来源及数据结构 国外的在线零售业务的交易数据, 数据下载地址 现在以表格的形式解释一下里面的字段: 字段 说明 InvoiceNo 订单编号,含有6个整数,退货订单编 阅读全文
posted @ 2021-07-12 14:38 夜的独白 阅读(732) 评论(0) 推荐(0)

摘要:sklearn中神经网络API sklearn.neural_network.MLPClassifier sklearn.neural_network.MLPRegressor 使用pandas导入数据 from sklearn.neural_network import MLPRegressor 阅读全文
posted @ 2021-07-12 14:26 夜的独白 阅读(4483) 评论(0) 推荐(0)

摘要:文章目录 合并数据集 * 索引的合并 轴向连接 合并重叠数据 重塑和轴向旋转 * 重塑层次化索引 将“长格式”旋转为“宽格式” 数据转换 * 移除重复数据 利用函数或映射进行数据转换 替换值 重命名轴索引 离散化和面元划分 合并数据集 pandas对象中的数据可以通过一些内置的方式进行合并: pan 阅读全文
posted @ 2021-07-12 14:23 夜的独白 阅读(295) 评论(0) 推荐(0)

摘要:自学数据分析与机器学习已有两月,近期房价问题引人深思,即兴做个上海市房价的数据分析小项目。上网一查上海市新楼盘价格,高的不忍直视,索性退而求其次,分析上海二手房的价格。 一、数据收集 常规做法是编写网络爬虫程序,爬取相关网站的数据信息。捷径是用八爪鱼爬虫软件爬取房天下、安居客等网站的二手房信息。 二 阅读全文
posted @ 2021-07-12 14:17 夜的独白 阅读(1828) 评论(0) 推荐(0)

摘要:python数据分析入门项目–分析全球五百强的数据 这里我用一个简单的简单数据分析入门项目,这里我就先不讲数据数据下载、抓取的问题,我直接给出CSV文件的链接,点击就可以下载。 链接: link . 好,我们直接开始,我们把解析直接用注释的形式打在旁白。 import pandas as pd#一个 阅读全文
posted @ 2021-07-12 14:07 夜的独白 阅读(255) 评论(0) 推荐(0)

摘要:最近接受Python数据分析的培训,准备接下来深入研究一下,正处在初涉阶段,先上一个小练习热热身。 开发工具:PyCharm 2016.2 完整练习的GitHub地址: https://github.com/xinluqishi/pythonTrainingPro 项目分析数据: https://w 阅读全文
posted @ 2021-07-12 13:52 夜的独白 阅读(210) 评论(0) 推荐(0)

摘要:前言 第一篇中说好了这个系列要勤更,但是这一篇还是拖得有点久,毕竟是工作之余的学习,各种事情都在耽误吧。上一篇有说到《Python从入门到实战》这本书,这段时间我已经读完了,里面更多的是Python的一些使用基础,如果这一主题的文章继续围绕这本书就不太合适了,我自己也想加快一下学习的速度,做一些更有 阅读全文
posted @ 2021-07-12 13:47 夜的独白 阅读(142) 评论(0) 推荐(0)

摘要:一般可以安装“数据获取-->数据存储与提取-->数据预处理-->数据建模与分析-->数据可视化”这样的步骤来实施一个数据分析项目。该流程需要掌握的知识点如下: 1)数据获取: 1.1.了解公开数据集的渠道 1.2.用爬虫爬取网站数据 2)数据存储、提前: 2.1.SQL实现数据存储、查询、提前 2. 阅读全文
posted @ 2021-07-12 13:38 夜的独白 阅读(902) 评论(0) 推荐(0)

摘要:![在这里插入图片描述](https://img-blog.csdnimg.cn/20200325144127821.png?x-oss- process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9n 阅读全文
posted @ 2021-07-12 13:32 夜的独白 阅读(822) 评论(0) 推荐(0)

摘要:Python数据分析:情感分析 自然语言处理(NLP) 将自然语言(文本)转化为计算机程序更容易理解的形式 预处理得到的字符串进行向量化 经典应用: 情感分析 文本相似度 文本分类 简单情感分析: 情感字典(sentiment dictionary) 人工构造一个字典 根据关键词匹配 优点:简单实用 阅读全文
posted @ 2021-07-12 12:11 夜的独白 阅读(776) 评论(0) 推荐(0)

摘要:简介:本案例以电信运营商客户信息为数据,通过层次聚类和K- means聚类,对用户划分成不同的群体,然后可以根据用户群体的不同特征提供个性化的策略,从而达到提高ARPU的效果。 1.商业理解 根据客户的日常消费行为,我们可以把客户划分为不同的群体,根据不同群体的消费行为特征,我们可以作出针对性的营销 阅读全文
posted @ 2021-07-12 12:07 夜的独白 阅读(857) 评论(0) 推荐(0)

摘要:何为聚类分析 聚类分析或聚类是对一组对象进行分组的任务,使得同一组(称为聚类)中的对象(在某种意义上)与其他组(聚类)中的对象更相似(在某种意义上)。它是探索性数据挖掘的主要任务,也是统计 数据分析的常用技术,用于许多领域,包括机器学习,模式识别,图像分析,信息检索,生物信息学,数据压缩和计算机图形 阅读全文
posted @ 2021-07-12 12:03 夜的独白 阅读(1620) 评论(0) 推荐(0)

摘要:会员数据化运营解决问题: 会员的生命周期状态是什么; 会员的核心诉求是什么; 会员的转化习惯和路径是什么; 会员的价值如何; 如何扩大市场覆盖、获得更多的新会员; 如何更好地维系老会员; 应该在什么时间、采取何种措施、针对哪些会员做哪些运营活动; 在特定运营目标下,应该如何制定会员管理策略,包括行为 阅读全文
posted @ 2021-07-12 11:49 夜的独白 阅读(491) 评论(0) 推荐(0)

摘要:Matplotlib数据分析基础 * 概要 * matplotlib.pyplot.plot绘制折线图 matplotlib.pyplot.bar绘制条形图 matplotlib.pyplot.hist绘制直方图 matplotlib.pyplot.scatter绘制散点图 概要 本博客总结了mat 阅读全文
posted @ 2021-07-12 11:46 夜的独白 阅读(322) 评论(0) 推荐(0)

摘要:Matplotlib数据分析基础 * 概要 * matplotlib.pyplot.plot绘制折线图 matplotlib.pyplot.bar绘制条形图 matplotlib.pyplot.hist绘制直方图 matplotlib.pyplot.scatter绘制散点图 概要 本博客总结了mat 阅读全文
posted @ 2021-07-12 11:37 夜的独白 阅读(550) 评论(0) 推荐(0)

摘要:数据分析初始阶段,通常都要进行可视化处理。数据可视化旨在直观展示信息的分析结果和构思,令某些抽象数据具象化,这些抽象数据包括数据测量单位的性质或数量。本章用的程序库matplotlib是建立在Numpy之上的一个Python图库,它提供了一个面向对象的API和一个过程式类的MATLAB API,他们 阅读全文
posted @ 2021-07-12 11:31 夜的独白 阅读(1027) 评论(0) 推荐(0)

摘要:数据分析 一、基础概念及环境 * 1. 数据分析概念 anaconda * 2.3 安装 2.2 基本操作 二、matplotlib * 1. 简介 基本要点 使用方法 * 3.1 最简单形式 3.2 升级形式 3.3 刻度使用字符串 3.4 添加描述信息 3.5 同图表绘制多折线 应用场景 更多 阅读全文
posted @ 2021-07-12 11:20 夜的独白 阅读(451) 评论(0) 推荐(1)

摘要:本文主要是尝试下一个比较有意思的python模块: wxpy ,导入此模块之后,可以很方便的来创建一个 微信机器人 和做一些和 微信相关 的有意思的分析。 1. wxpy 安装 首先,通过pip方式进行安装,在命令行模式下输入: pip install -U wxpy [/code] 如下图所示: 阅读全文
posted @ 2021-07-09 11:55 夜的独白 阅读(129) 评论(0) 推荐(0)

摘要:numpy数组也就是ndarray,它的本质是一个对象,那么一定具有一些对象描述的属性,同时,它还有元素,其元素也有一些属性。本节主要介绍ndarray以及其元素的属性和属性的操作。 1. ndarray的属性 ndarray有两个属性:维度(ndim)和每个维度的大小shape(也就是每个维度元素 阅读全文
posted @ 2021-07-09 11:52 夜的独白 阅读(235) 评论(0) 推荐(0)

摘要:1、安装NLTK pip install nltk [/code] 至此,我们的安装还未完成,还需要下载NLTK语料库,下载量非常大,大约有1.8GB。可以直接运行代码下载、代码如下: ```code import nltk nltk.download() [/code] 这样可以直接下载NLTK语 阅读全文
posted @ 2021-07-09 11:49 夜的独白 阅读(343) 评论(0) 推荐(0)

摘要:本文主要是尝试下一个比较有意思的python模块: wxpy ,导入此模块之后,可以很方便的来创建一个 微信机器人 和做一些和 微信相关 的有意思的分析。 1. wxpy 安装 首先,通过pip方式进行安装,在命令行模式下输入: pip install -U wxpy [/code] 如下图所示: 阅读全文
posted @ 2021-07-09 11:35 夜的独白 阅读(221) 评论(0) 推荐(0)

摘要:概述 请求库:requests HTML 解析:BeautifulSoup 词云:wordcloud 数据可视化:pyecharts 数据库:MongoDB 数据库连接:pymongo 爬虫思路&&页面解析 先爬取房某下深圳各个板块的数据,然后存进 MongoDB 数据库,最后再进行数据分析。 ![ 阅读全文
posted @ 2021-07-09 11:20 夜的独白 阅读(432) 评论(0) 推荐(0)

摘要:六月 北京 | 高性能计算之GPU CUDA培训 **** 6月22-24日三天密集式学习 快速带你入门 阅读全文 ** > ** 正文共769,11图,预计阅读时间6分钟。 通常我们在使用爬虫的时候会爬取很多数据,而这些数据里边什么是有用的数据,什么是没用的数据这个是值得我们关注的,在这一篇文章里 阅读全文
posted @ 2021-07-09 11:07 夜的独白 阅读(182) 评论(0) 推荐(0)

摘要:一、爬虫部分 爬虫说明: 1、本爬虫是以面向对象的方式进行代码架构的 2、本爬虫是通过将前程无忧网页转换成一定端来进行求职信息爬取的 3、本爬虫爬取的数据存入到MongoDB数据库中 4、爬虫代码中有详细注释 代码展示 import time from pymongo import MongoCli 阅读全文
posted @ 2021-07-09 10:57 夜的独白 阅读(813) 评论(0) 推荐(0)

摘要:python基础、爬虫、数据分析学习笔记 一、Python基础 * I. 基本数据类型 * i. int、float、str、bool数据类型的定义 tuple(元组): list(列表) set(集合): dict(字典) 基本控制结构 * i. if-elif-else语句: for语句: wh 阅读全文
posted @ 2021-07-09 10:55 夜的独白 阅读(210) 评论(0) 推荐(0)

摘要:1.pandas的线性回归 回归分析是金融中一个绕不过的话题,其实最好的工具应该是R语言,但是pandas其实也是能够胜任绝大部分工作的。 这里我们就简单介绍一下。 import pandas as pd import numpy as np import matplotlib.pyplot as 阅读全文
posted @ 2021-07-09 10:52 夜的独白 阅读(558) 评论(0) 推荐(0)

摘要:第11章 统计学 11.1 正态性检验 11.1.1 基准案例 11.1.2 现实世界的数据 第11章 统计学 11.1 正态性检验 可以说 , 正态分布是金融学中最重要的分布 , 也是金融理论的主要统计学基础之一。尤其是下面这些金融理论基础 , 在很大程度上依赖于股票市场收益的正态分布。 投资组合 阅读全文
posted @ 2021-07-09 10:49 夜的独白 阅读(525) 评论(0) 推荐(0)

摘要:第9章 数学工具 9.1 逼近法 9.1.1 回归 9.1.2 插值 9.2 凸优化 9.2.1 全局优化 9.2.2 局部优化 9.2.3 有约束优化 9.3 积分 9.3.1 数值积分 9.3.2 通过模拟求取积分 9.4 符号计算 9.4.1 基本知识 9.4.2 方程式 9.4.3 积分 9 阅读全文
posted @ 2021-07-09 10:46 夜的独白 阅读(336) 评论(0) 推荐(0)

摘要:首先,是通常的导入工作: In [1]: import numpy as np from pylab import plt, mpl In [2]: plt.style.use('seaborn') mpl.rcParams['font.family'] = 'serif' %matplotlib 阅读全文
posted @ 2021-07-09 10:44 夜的独白 阅读(505) 评论(0) 推荐(0)

摘要:常见的可视化试图列举 可视化视图可以分成4大类:比较、联系、构成和分布。他们的特点如下: 1、比较:比较数据之间的各类别的关系,或者是他们随着时间的变化趋势,比如折线图; 2、联系:查看两个或者两个以上的变量之间的关系,比如散点图; 3、构成:每个部分占整体的百分比,或者是随着时间的百分比变化,比如 阅读全文
posted @ 2021-07-09 10:39 夜的独白 阅读(272) 评论(0) 推荐(0)

摘要:文章目录 (一)概率论数理统计中的概念 * (1)随机分布 (2)统计分布 (二)统计分析的常见指标 * (1)均值,方差,标准差,中位数,众数 (2)总量指标 (3)相对指标 (4)平均指标 (5)变异指标 (三)统计分析的特点 (四)统计分析的基本步骤 (四)数据统计分析pandas工具使用(共 阅读全文
posted @ 2021-07-09 10:30 夜的独白 阅读(305) 评论(0) 推荐(0)

摘要:一、明确功能需求 项目功能需求如下图所示,假设有1000行数据即1000名患者,已知每名患者的西医指标值和医生给出的证候结果。 共有3个证候结果:气虚证、肾虚证、阳虚证,列序号分别为1、2、3列;值为1表示患者存在该证候,值为0表示不存在该证候,一个患者可以同时存在多个证候,证候起始和终止序号为2- 阅读全文
posted @ 2021-07-09 10:29 夜的独白 阅读(683) 评论(0) 推荐(0)

摘要:(1)需求背景 我将扮演一名数据工作者。在目前国内的新冠病毒疫情背景下,你觉得应该用数据做重新剖析一下疫情状况,恰好现在有一份2020.1.22至2020.2.13的全国疫情数据,我将对疫情现状做一个基本分析 作为一名python数据分析是,面对元素数据,我将完成以下工作: a.读取数据,初步了解数 阅读全文
posted @ 2021-07-09 10:28 夜的独白 阅读(303) 评论(0) 推荐(0)

摘要:用pandas封装函数对数据进行读取,预处理,数据分析等操作。 pandas库是基于numpy库编写的, 在命令行窗口安装完numpy后,安装pandas:pip install pandas。 相关numpy库的内容参考 http://blog.csdn.net/cymy001/article/d 阅读全文
posted @ 2021-07-09 10:26 夜的独白 阅读(91) 评论(0) 推荐(0)

摘要:Python3实战Spark大数据分析及调度 学习资源 一、实例分析 1.1 数据 student.txt 1.2 代码 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191015172251705.png?x-oss- process=image/water 阅读全文
posted @ 2021-07-09 10:24 夜的独白 阅读(148) 评论(0) 推荐(0)

摘要:一、基本框架 项目任务 : 每个人的体能测试有单杠、仰卧起坐、30米x2蛇形跑、3000米跑四个项目,外加体型是否合格(BMI身体质量指数或者PBF体脂百分比),每项原始测试数据,通过不同项目各自规定的标准转换成100分制的分数,最终汇总得出个人的评定成绩,而且能够批量计算。 ![输入原始数据举例] 阅读全文
posted @ 2021-07-09 10:22 夜的独白 阅读(1146) 评论(0) 推荐(0)

摘要:numpy可以说是Python运用于人工智能和科学计算的一个重要基础,关于库的引入不做赘述,主要分享一些总结的numpy库的用法。 1. numpy数组对象 Numpy中的多维数组称为ndarray,这是Numpy中最常见的数组对象。ndarray对象通常包含两个部分: ndarray数据本身 描述 阅读全文
posted @ 2021-07-09 10:18 夜的独白 阅读(57) 评论(0) 推荐(0)

摘要:SciPy 标签: Python 数据分析 SciPy是一组专门解决科学计算中各种标准问题域的包的集合,主要包括下面这些包: scipy.integrate:数值积分例程和微分方程求解器 scipy.linalg:扩展了由numpy.linalg提供的线性代数例程和矩阵分解功能 scipy.opti 阅读全文
posted @ 2021-07-08 15:22 夜的独白 阅读(477) 评论(0) 推荐(0)

摘要:文章目录 7.1 pandas 常用数据类型 * 7.1.1 一维数组与常用操作 * 7.1.1.1 创建 Series 7.1.1.2 修改指定索引对应的值 7.1.1.3 对所有数据求绝对值 7.1.1.4 对所有数据加 5 7.1.1.5 对每行索引加前缀 7.1.1.6 对每行索引加后缀 7 阅读全文
posted @ 2021-07-08 15:21 夜的独白 阅读(735) 评论(0) 推荐(0)

摘要:前言: 重新复习了下之前写的代码,发现从tushare下载的数据有些是NaN值,自己研究了下这些NaN值的股票,都是些要么退市要么面临退市的风险问题股,之前在我写的文章代码里,生成的docx文档里含有0不明类别的分析报告,这些0的分类其实都是些问题股,于是先加句代码完善下当前的分析报告,注意: _此 阅读全文
posted @ 2021-07-08 15:16 夜的独白 阅读(391) 评论(0) 推荐(0)

摘要:各位朋友大家好,非常荣幸和大家聊一聊用 Python Pandas 处理 Excel 数据的话题。因为工作中一直在用 Pandas,所以积累了一些小技巧,在此借 GitChat 平台和大家分享一下心得。 在开始之前我推荐大家下载使用 Anaconda,里面包含了 Spyder 和 Jupyter N 阅读全文
posted @ 2021-07-08 15:14 夜的独白 阅读(427) 评论(0) 推荐(0)

摘要:导入模块 import numpy as np import pandas as pd import datetime import matplotlib as mpl import matplotlib.pyplot as plt import matplotlib.pylab as pylab 阅读全文
posted @ 2021-07-08 14:59 夜的独白 阅读(717) 评论(1) 推荐(0)

摘要:导入模块 import numpy as np import pandas as pd import datetime import matplotlib as mpl import matplotlib.pyplot as plt import matplotlib.pylab as pylab 阅读全文
posted @ 2021-07-08 14:36 夜的独白 阅读(458) 评论(0) 推荐(0)

摘要:使用Python进行数据分析,大家都会多少学习一本经典教材《利用Python进行数据分析》,书中作者使用了Ipython的交互环境进行了书中所有代码的案例演示,而书中的Ipython交互环境用的是原生Python开发环境,在原生环境里,由于没有代码提示、自动格式等智能辅助给你,导致编码效率有点低下, 阅读全文
posted @ 2021-07-08 14:27 夜的独白 阅读(436) 评论(0) 推荐(0)

摘要:PRO-seq数据分析 背景知识 大多数RNA-seq都是研究不同条件下细胞内mRNA变化。除了基因的编码区(CDS)可以转录成mRNA,基因组上的其他区域也能不同程度地转录(例如poly A,下游区域以及Enhancer),Enhancer可以产生短的且不稳定的RNA来调控转录,而这种调控的错误会 阅读全文
posted @ 2021-07-08 14:11 夜的独白 阅读(1125) 评论(0) 推荐(0)

摘要:Power BI数据分析案例实战 学习地址:http://www.xuetuwuyou.com/course/194 课程出自学途无忧网:http://www.xuetuwuyou.com 课程简介 本课程在《Power BI 数据分析快速上手》基础上结合大量的实例,深入讲解PowerBI中看似难懂 阅读全文
posted @ 2021-07-08 14:02 夜的独白 阅读(2136) 评论(1) 推荐(0)

摘要:** Powerbi 和Excel ** l ** Power BI 和 Excel ** 本节将向你介绍将 Excel 工作薄导入 Power BI 是多么简单,并演示 Power BI 和 Excel 如何展现最佳搭档气质。 以下主题将指导你使用简单的表格将 Excel 工作薄上传到 Power 阅读全文
posted @ 2021-07-08 13:41 夜的独白 阅读(527) 评论(0) 推荐(0)

摘要:数据收集技术: 1.头脑风暴:收集关于项目方法的创意和解决方案。 2.焦点小组:召集预定的相关方和主题专家,了解他们对所讨论的产品服务或成果的期望和态度。主持人引导大家互动式讨论。 3.访谈:通过与相关方直接面谈,来获取信息的正式或非正式的方法。 4.标杆对照:将实际与计划的产品过程和实践,与其他可 阅读全文
posted @ 2021-07-08 13:34 夜的独白 阅读(204) 评论(0) 推荐(0)

摘要:该系列博客,均来自刘铁猛老师的视频内容,网址如下: http://www.timliu.net 内容: 一、传统的Excel文件的创建及一些概念 1、使用“Excel 2013”软件新建一个excel文件,这样就在硬盘的指定位置创建了一个空的excel类的Worksheet空文件 2、微软为了用户体 阅读全文
posted @ 2021-07-08 13:31 夜的独白 阅读(1990) 评论(0) 推荐(0)

摘要:LC数据集初步分析 首先我们来分析一下LC.csv数据集,LC (Loan Characteristics) 表为标的特征表,每支标一条记录。共有21个字段,包括一个主键(listingid)、7个标的特征和13个成交当时的借款人信息,全部为成交当时可以获得的信息。信息的维度比较广,大致可以分为基本 阅读全文
posted @ 2021-07-08 13:28 夜的独白 阅读(359) 评论(0) 推荐(0)

摘要:1.项目背景: 随着移动设备的完善和普及,移动互联网+各行各业进入了高速发展阶段,这其中以O2O(Online to Offline)消费最为吸引眼球。据不完全统计,O2O行业估值上亿的创业公司至少有10家,也不乏百亿巨头的身影。O2O行业天然关联数亿消费者,各类APP每天记录了超过百亿条用户行为和 阅读全文
posted @ 2021-07-08 13:24 夜的独白 阅读(1013) 评论(0) 推荐(0)

摘要:目录 Numpy数据分析API总结 * numpy常见函数 * 加载文件 * 案例,绘制K线图 算数平局值 加权平均值 最大值、最小值、极差 中位数 标准差 移动平均 卷积实现移动平均 布林带 线型预测 线型拟合 协方差 相关系数 相关矩阵 多项式拟合 数据平滑 符号数组 数组处理函数 矢量化 矩阵 阅读全文
posted @ 2021-07-08 12:12 夜的独白 阅读(99) 评论(0) 推荐(0)

摘要:@[云好晕啊] 学习笔记 大作业 【声明:本章所有内容都是通过一个程序完成的,所以每个小问题中的代码存在数据复用以及后面的代码没有导入相应的库情况】 本次练习使用的是 鸢尾植物数据集。Iris也称为鸢尾花卉数据集,包含了三类不同鸢尾属植物:Iris Setosa、Iris Versicolour、I 阅读全文
posted @ 2021-07-08 12:08 夜的独白 阅读(1182) 评论(0) 推荐(0)

摘要:NBA球员信息盘点(数据分析) 文章目录 NBA球员信息盘点(数据分析) 1.数据抓取 * 1.1使用工具及爬取内容介绍 1.2爬虫的步骤 2.数据存储 * 2.1写入csv 2.2写入txt 3.数据分析及可视化 * 3.1NBA球员身高区间 3.2NBA球员场上位置分布 3.3NBA球员得分分析 阅读全文
posted @ 2021-07-08 12:07 夜的独白 阅读(655) 评论(0) 推荐(0)

摘要:这一节我们将介绍MaxDiff最重要的一个部分,即如何分析Maxdiff数据。文章内容可能数学味道浓一些,但是别担心,绝大多数的计算只需要中学数学水平。我们希望大家明白,MaxDiff的分析并不是黑箱子,而恰恰相反,是非常简单和符合直觉判断的。 在估计Maxdiff题目中每个对象的偏好效用得分时,分 阅读全文
posted @ 2021-07-08 12:06 夜的独白 阅读(736) 评论(0) 推荐(0)

摘要:clear all load count.dat c3 = count(:,3); % 第三列数据 c3NaNCount = sum(isnan(c3)); h = histogram(c3,10); % 直方图,横坐标为值,纵坐标为组数 N = max(h.Values); % 求最大值 mu3 阅读全文
posted @ 2021-07-08 12:04 夜的独白 阅读(384) 评论(0) 推荐(0)

摘要:MATLAB数据分析与统计—7391人已学习 课程介绍 全面学习MATLAB在数据统计分析领域中的知识 课程收益 通过本课程的学习,可以快速的入门MATLAB数据统计与分析 讲师介绍 魏伟 更多讲师课程 精通c++,网络编程,数字图像处理领域,研究方向为数学视频图像处理领域,有多年开发经验。 课程大 阅读全文
posted @ 2021-07-08 12:01 夜的独白 阅读(185) 评论(0) 推荐(0)

摘要:1. 对多项式f(x)与g(x)做加、减、乘、除运算,并计算它们的商的导函数。 ![1](https://img- blog.csdn.net/20180331213513574?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2MxMTU1NjkxMw= 阅读全文
posted @ 2021-07-08 11:58 夜的独白 阅读(452) 评论(0) 推荐(0)

摘要:GIS基本理论系列是在《地理信息系统原理和应用》读书报告基础上完成的,当作自己对GIS理论的一次复习回顾。 空间信息分析的内容包括哪些操作?有哪些功能? 空间信息分析通常是指 GIS 为用户提供的解决问题的方法。 空间信息分析的基本方法包括以下一些内容: ( 1 )空间信息量算:质心计算、几何量算、 阅读全文
posted @ 2021-07-07 11:14 夜的独白 阅读(887) 评论(0) 推荐(0)

摘要:Forest数据分析及可视化 文章目录 * Forest数据分析及可视化 * 说在前面 1.导入csv数据集 2.分析种树种类 3.分析种树标签 4.种植树木的成功率 5.基于周和月的种树时间分析 6.总结 附源代码 说在前面 这次python作业是数据分析及可视化,这里我采用的是一个APP “Fo 阅读全文
posted @ 2021-07-07 11:12 夜的独白 阅读(253) 评论(0) 推荐(0)

摘要:该项目是浙江大学地理空间数据库课程作业8:空间分析中,使用 flask + pyecharts 搭建的简单新冠肺炎疫情数据可视化交互分析平台的一部分,完整的实现包含疫情数据获取、态势感知、预测分析、舆情监测等任务; 包含完整代码、数据集和实现的github地址: https://github.com 阅读全文
posted @ 2021-07-07 11:06 夜的独白 阅读(367) 评论(0) 推荐(0)

摘要:该项目是浙江大学地理空间数据库课程作业8:空间分析中,使用 flask + pyecharts 搭建的简单新冠肺炎疫情数据可视化交互分析平台的一部分,完整的实现包含疫情数据获取、态势感知、预测分析、舆情监测等任务; 包含完整代码、数据集和实现的github地址: https://github.com 阅读全文
posted @ 2021-07-07 11:05 夜的独白 阅读(445) 评论(0) 推荐(0)

摘要:对于数据分析的初学者,有的时候并不需要去购买SPSS,或者苦学R语言等专业工具,Excel默认安装以后自带了数据分析和数据计算插件,只需要将插件激活,便可以进行方差分析、傅里叶分析、直方图绘制等等一系列专业的统计计算。以下是插件的激活方式: Excel中自带了数据分析工具,可以用于基础的数据统计和分 阅读全文
posted @ 2021-07-07 11:00 夜的独白 阅读(1437) 评论(0) 推荐(0)

摘要:概述 本文将简单介绍运维数据分析系统 Elastic Stack,并描述其基础部署过程。 简介 ELK(Elasticsearch + Logstash + Kibana)用于日志集中分析系统,Elasticsearch 用于存储、搜索、分析数据,Logstash 用于接收并处理数据,Kibana 阅读全文
posted @ 2021-07-07 10:47 夜的独白 阅读(312) 评论(0) 推荐(0)

摘要:1 ChIP-Seq技术 1.1 概念 1.2 ChIP-seq技术原理 2 ChIP-Seq数据分析 2.1 数据下载 2.2 质量控制(data_assess) 2.3 比对到参考基因组(mapping_analysis) 2.4 搜峰(Peak_calling) MACS2 2.4.1 MAC 阅读全文
posted @ 2021-07-07 10:35 夜的独白 阅读(1457) 评论(0) 推荐(0)

摘要:首先是基础环境安装: yum install zeromq-devel yum install gcc-gfortran yum install freetype-devel yum install libpng-devel yum install atlas-devel yum install b 阅读全文
posted @ 2021-07-07 10:33 夜的独白 阅读(57) 评论(0) 推荐(0)

摘要:一、CDA简介 CDA(Certified Data Analyst),亦称“CDA数据分析师 ”,指在互联网、零售、金融、电信、医学、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才。CDA秉承着总结凝练最先进的商业数据分析实践为使命,明晰各类数据分析从业 阅读全文
posted @ 2021-07-07 10:31 夜的独白 阅读(366) 评论(0) 推荐(0)

摘要:google play store app数据源 提取码: 38jk google play store的app数据分析 1. 加载数据 加载数据分析使用的库 加载数据前,先用文本编辑器简单浏览一下数据 加载好数据之后,第一步先分别使用shape、head、count、describe和info方法 阅读全文
posted @ 2021-07-07 10:18 夜的独白 阅读(635) 评论(0) 推荐(0)

摘要:数据源地址:http://pan.baidu.com/s/1cKsrKi 1.准备数据源 打开 上牌数--商用车销量数据样例.xlsx,另存为car.txt文件,打开car.txt,设置编码格式为UTF-8,保存并上传至master节点。 2.创建car 数据库,建立car表,并上传数据 creat 阅读全文
posted @ 2021-07-07 10:17 夜的独白 阅读(805) 评论(0) 推荐(0)

摘要:![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9hNENBY3JTUWw5ZmliUG1xbWZ6YTl1OW5WdHZzZTFCYWg0amsxS3o5Q2FwdXJzMGNtdmQ2MlBh 阅读全文
posted @ 2021-07-07 10:15 夜的独白 阅读(1443) 评论(0) 推荐(0)

摘要:PUBG数据集分析报告 数据集分为两个部分 数据集1: agg数据: 15 字段 date: 时间 game_size:队伍数量 match_id:比赛 match_mode: 对局模式(第一人称还是第三人称) party_size:组队模式(单人赛、双人赛、四人赛) player_assists: 阅读全文
posted @ 2021-07-07 10:14 夜的独白 阅读(785) 评论(0) 推荐(0)

摘要:数据来自kaggle上tmdb5000电影数据集,本次数据分析主要包括电影数据可视化和简单的电影推荐模型,如: 1.电影类型分配及其随时间的变化 2.利润、评分、受欢迎程度直接的关系 3.哪些导演的电影卖座或较好 4.最勤劳的演职人员 5.电影关键字分析 6.电影相似性推荐 数据分析 import 阅读全文
posted @ 2021-07-07 10:12 夜的独白 阅读(681) 评论(0) 推荐(0)

摘要:↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习 ,不错过 Datawhale干货 作者:陈锴,中山大学,Datawhale成员 最近有很多读者留言,希望能有一个完整的数据分析项目练手,这几天收集了组织成员们的推荐。其中泰坦尼克号生存预测作为最经典的启蒙数据分析项目,对于初学者来说 阅读全文
posted @ 2021-07-07 10:09 夜的独白 阅读(835) 评论(0) 推荐(0)

摘要:本文是针对kaggle上的数据集TMDB 5000 Movie Dataset进行数据分析。 数据集在以下链接就可下载 https://www.kaggle.com/tmdb/tmdb-movie-metadata ![](https://img- blog.csdn.net/20180716161 阅读全文
posted @ 2021-07-07 10:07 夜的独白 阅读(807) 评论(0) 推荐(0)

摘要:安装环境:Cent os 7 软件:Anaconda3-4.4.0-Linux-x86_64.sh 汉化文件:messages.mo 1.首先需要在linux下安装Anaconda, 直接在anaconda软件目录下使用 bash Anaconda3-4.4.0-Linux-x86_64.sh 安装 阅读全文
posted @ 2021-07-07 10:04 夜的独白 阅读(442) 评论(0) 推荐(0)

摘要:MapReduce之气象数据分析 问题描述 通过获取的气象数据来分析气温最大值 样例输入 数据集地址: 天气数据集 样例输出 表示1901年最大温度为239,可能是他们使用的温度单位和咱们不一样吧 mapper阶段任务 map阶段主要是对文本进行切割,提取时间和温度形成 <时间,<温度,,温度,温度 阅读全文
posted @ 2021-07-07 10:03 夜的独白 阅读(510) 评论(0) 推荐(0)

摘要:2.1 基本统计量与数据可视化 1.均值、中位数、分位数、三均值 均值、中位数:mean(A)、media(A) 分位数:prctile(A,P),P∈[0,100] prctile(A,[25,50,75]) %求A的下、中、上分位数 三均值: w=[0.25,0.5,0.75]; SM=w*pr 阅读全文
posted @ 2021-07-07 10:01 夜的独白 阅读(716) 评论(0) 推荐(0)

摘要:概要:提取数据的基本特征 ![这里写图片描述](https://img- blog.csdn.net/20170501112833280?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGluemNoMw==/font/5a6L5L2T/fontsize/ 阅读全文
posted @ 2021-07-06 17:04 夜的独白 阅读(106) 评论(0) 推荐(0)

摘要:一. 安装pandas Anaconda 安装pandas、Python和SciPy最简单的方式是用Anaconda。Anaconda是关于Python数据分析和科学计算的分发包。 Miniconda 使用Anaconda会安装一百多个依赖包,如果想灵活控制安装的依赖包或带宽有限,使用Minicon 阅读全文
posted @ 2021-07-06 16:58 夜的独白 阅读(355) 评论(0) 推荐(0)

摘要:一. Python相关的科学计算库 ● NumPy NumPy是Numerical Python的简称,是Python科学计算的基础库。它提供了如下内容:快速有效的多维数组对象ndarray,数组之间的运算,基于数组的数据读写到磁盘功能,线代运算,傅里叶变换,随机数生成,将C、C和Fortran集成 阅读全文
posted @ 2021-07-06 16:45 夜的独白 阅读(123) 评论(0) 推荐(0)

摘要:首先我们打开数据之后先了解一下数据有哪些元素。在这个表中,可以看到,第一列是公司名称,第二列是交易日期,第四列是开盘价,之后分别是是最高价,最低价,收盘价,成交量。(数据获取方式看文章末尾) ![](https://img- blog.csdn.net/20180731231036387?water 阅读全文
posted @ 2021-07-06 16:44 夜的独白 阅读(365) 评论(0) 推荐(0)

摘要:一、Pandas简介 Pandas是一个专门用于数据分析的开源Python库,在做相关统计分析和决策时,pandas都是一项重要的基础工具。它以NumPy为基础,不仅使Pandas兼容性更强,也更高效。 Pandas 中有两种独特的数据结构:Series和DataFrame,这两种数据结构设计初衷是 阅读全文
posted @ 2021-07-06 16:05 夜的独白 阅读(351) 评论(0) 推荐(0)

摘要:本文转自知乎 作者:苏格兰折耳喵 ————————————————————————————————————————————————————— 本文篇幅较长,分为五部分,在中间部分有关于心理分析工具的介绍,案例分散在第二部分和第五部分,大家在阅读的时候可以跳过“心理分析工具”部分,直接去看案例,如有不 阅读全文
posted @ 2021-07-06 15:53 夜的独白 阅读(222) 评论(0) 推荐(0)

摘要:最近在准备数据分析岗位的笔试,整理了牛客网上的一些试题与答案方便查看。 本文转载出处: https://blog.csdn.net/weixin_44915703/article/details/94763548 1. 想要了解上海市中学生的身高,从中抽取了1000个样本,这项调查中的样本是 **A 阅读全文
posted @ 2021-07-06 15:45 夜的独白 阅读(425) 评论(0) 推荐(0)

摘要:电商行业是当前市场十分火热的行业,也是对数据分析师需求很大的行业,这篇文章可以帮助没有电商行业经验的同学快速了解电商数据分析的指标和框架。那么话不多说,咱们开始吧~ 首先要构建电商数据分析的基本指标体系,主要分为8个类指标,即: 1 ** 总体运营指标 ** 从流量、订单、总体销售业绩、整体指标进行 阅读全文
posted @ 2021-07-06 15:38 夜的独白 阅读(387) 评论(0) 推荐(0)

摘要:全文共3915字,预计学习时长8分钟 ![打开百度App,看更多图片](https://img-blog.csdnimg.cn/20190727180220621.png?x-oss- process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_1 阅读全文
posted @ 2021-07-06 15:28 夜的独白 阅读(173) 评论(0) 推荐(0)

摘要:8.2 字节跳动笔试 这好像是我参加的第一场笔试,时间太久了,现在不太记得考了什么了。 好像问了很多游戏的问题,因为我本人不玩游戏。。反正挂了 8.6 京东笔试 也记不太清了,好像是分成两部分 前边是选择题? 后边是 编程题 。 1.输入两个list,返回最长公共子序列 2.输入两个数字,返回这两个 阅读全文
posted @ 2021-07-06 15:24 夜的独白 阅读(960) 评论(0) 推荐(0)

摘要:30岁转行做大数据分析师为时不晚,但是我不建议大家盲目转行。为什么这么说?30岁正值人生的关键时期,如果工作正出于上升期或者比较稳定的状态,一般不会轻易转行,因为转行的风险比较大。当然如果你已经下定决心转行大数据分析师,那么一定要提前预判各种困难出现的可能性,同时制定详尽完备的学习提升计划,为达成目 阅读全文
posted @ 2021-07-06 15:10 夜的独白 阅读(2457) 评论(0) 推荐(0)

摘要:数据分析练习题1 在线试卷链接: CDA认证考试 Level Ⅰ业务数据分析师模拟题 - CDA人工智能学院 - 数据科学与人工智能从业者的在线大学_AIU人工智能学院_经管之家_CDA数据分析师旗下​edu.cda.cn ![058de16ae3bf5c668ae5613fa1f244f7.png 阅读全文
posted @ 2021-07-06 15:01 夜的独白 阅读(656) 评论(0) 推荐(0)

摘要:整理作业用的 # coding=utf-8 #第一步,导出相关函数库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import math import scipy.stats as st import 阅读全文
posted @ 2021-07-06 14:59 夜的独白 阅读(515) 评论(0) 推荐(0)

摘要:![](https://img- blog.csdn.net/20140415221808437?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3lpOTE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA= 阅读全文
posted @ 2021-07-06 14:44 夜的独白 阅读(83) 评论(0) 推荐(0)

摘要:首先悼念下我的腾讯笔试,挂了。。。研发的基础知识真是变态啊,得静心看书啊!! 今天是我阿里数据分析师的面试,通知的时间时下午4点50到5点40。我3点40就到了,想准备充分些,看到很多同学,都是研发的,不过听到的消息貌似都不怎么好。我的心态也是不错的,反正抱着学习的态度来的,感受下面试就行,毕竟是我 阅读全文
posted @ 2021-07-06 14:11 夜的独白 阅读(140) 评论(0) 推荐(0)

摘要:题目大意是给出一个数字n,问ab=cd(1<=a、b、c、d<=n)这种式子的个数 12=11 11=12,这样的算两个,n<=100000. 首先分析题目,n的数据范围肯定是不能暴力的,从其他同学的反馈也表示这题暴力只能过20% 此题的规律在于,以一个较小的数字a当基底 将 ap 和 aq(设为m 阅读全文
posted @ 2021-07-06 14:06 夜的独白 阅读(163) 评论(0) 推荐(0)

摘要:今天要大家介绍一款SEO常用必备软件——5118站长工具箱。 软件介绍 5118站长工具箱是专门为站长SEO工作和新媒体人打造,结合大数据对浏览器进行可视化增强的智能插件。让每一个页面浏览都可以即时获取SEO工作所需的重要数据,是站长工作的最佳搭档。极小插件极简安装,完全免费!无广告! 该下载版本为 阅读全文
posted @ 2021-07-06 13:54 夜的独白 阅读(117) 评论(0) 推荐(0)

摘要:本文利用Airbnb用户的注册、订单和日志行为等数据,从用户画像、营销渠道转化率、订单漏斗分析三方面进行分析。我们需要考虑以下3个问题: 爱彼迎的目标用户是什么样的人群?有什么特点? 这些人群接受信息的渠道有哪些?或者说需求对应出现的场景在什么时候什么地方? 以什么样的方式给他们传递爱彼迎的产品价值 阅读全文
posted @ 2021-07-06 13:53 夜的独白 阅读(734) 评论(0) 推荐(0)

摘要:![3b38dbb5e5a76ec2bc937d87d54ce002.png](https://img- blog.csdnimg.cn/img_convert/3b38dbb5e5a76ec2bc937d87d54ce002.png) #文章首发于公众号 “如风起”。 原文链接: 小白学统计|面板 阅读全文
posted @ 2021-07-06 12:03 夜的独白 阅读(1925) 评论(0) 推荐(0)

摘要:简单介绍一下 中位数、众数和均值 分析一下在不同的统计背景下中位数、众数和均值的优劣 设计两个数组X,Y,使得X的中位数大于均值,Y的均值大于中位数 有5元面额纸币6张,10元面额纸币5张,20元面额纸币4张,从中随机抽取出4张,求每种面额纸币至少有一张的概率。 描述一下中心极限定理的基本原理,并举 阅读全文
posted @ 2021-07-06 11:41 夜的独白 阅读(143) 评论(0) 推荐(0)

摘要:![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9LZkxHRjBpYnU2Y0xKaWFpY0xuUENxWVJPZzFZOHNwekN5WkdLZzZyYTlINTNIQ2FlakNHR2p1 阅读全文
posted @ 2021-07-05 15:00 夜的独白 阅读(329) 评论(0) 推荐(1)

摘要:导读: 提到数据分析的基础方法,大家肯定很容易想到对比、细分和趋势,但是这些都是非常基础的入门理论,本文不会涉及。本文主要介绍产品经理在管理整个项目、解决整个项目的问题的时候,需要用到的数据分析方法。 作者:杨楠楠 李凯东 陈新涛 萧饭饭 等 来源:大数据DT(ID:hzdashuju) ![](h 阅读全文
posted @ 2021-07-05 14:58 夜的独白 阅读(309) 评论(0) 推荐(0)

摘要:在运营抖音中数据的分析很重要,只有做好数据的分析,才能更好的进行用户的匹配。 而乐观抖音榜单不仅仅可以帮助你发现对标同行竞品账号详情,还可以帮助你分析为什么同一行业、同质内容,为什么运营结果却天差地别,通过对比分析抖音账号数据内容,从而加快优化运营方法上的问题,实现运营突破。 step1:找准所需抖 阅读全文
posted @ 2021-07-05 14:55 夜的独白 阅读(521) 评论(0) 推荐(0)

摘要:一、前言 思维缺失 造成“不知道,不确定“(问题发生没?问题在哪里?为什么?不确定对不对?不确定执行结果? 不知道老板是否满意给不给加薪? 。。。。) 缺少分析思维,会使得分析的各个方面陷入无理论化,无法获得判断能力,对目前,对以后都是及其不好的。 最重要的是,老板不给加薪!! 拥有 三种核心 数据 阅读全文
posted @ 2021-07-05 14:34 夜的独白 阅读(60) 评论(0) 推荐(0)

摘要:项目介绍 项目来源:天池大数据平台 项目思路:针对airbnb中listings表做数据处理,探索分析以及针对经纬度以及价格做地理价格图(pyecharts) python:3.7.1 pyecharts:1.2.0 天池平台的这个比赛比较常见,本文给出了地理可视化的新思路 (想看图的直接拉到3/4 阅读全文
posted @ 2021-07-05 14:30 夜的独白 阅读(207) 评论(0) 推荐(0)

摘要:上周学习了刘老师人群队列数据实战的课程,自己受益匪浅,课程主要讲的是大人群队列数据分析的一些背景知识和底层原理,并且使用R语言进行代码实现。 本篇笔记主要是对人群队列数据分析的基础知识和流程进行一个大体的总结回顾,具体的每个单独模块的细节内容和代码,我也都做了笔记,并且整理好了放在个人的Github 阅读全文
posted @ 2021-07-05 14:26 夜的独白 阅读(462) 评论(0) 推荐(0)

摘要:阅读之前看这里 👉:博主是正在学习数据分析的一员,博客记录的是在学习过程中一些总结,也希望和大家一起进步,在记录之时,未免存在很多疏漏和不全,如有问题,还请私聊博主指正。 博客地址: 天阑之蓝的博客 ,学习过程中不免有困难和迷茫,希望大家都能在这学习的过程中肯定自己,超越自己,最终创造自己。 统计 阅读全文
posted @ 2021-07-05 14:18 夜的独白 阅读(1209) 评论(0) 推荐(0)

摘要:在求职的道路上,当你过了笔试的第一道坎,紧接着尤为重要的就是面试,它将直面公司技术主管与HR。现整理python数据分析与挖掘相关面试题如下(代码已亲试),供自己与有需要的同仁共同学习提高。 活到老,学到老!(梭伦) 终身学习! 面试题 python数据分析 1 列举几个常用的python分析数据包 阅读全文
posted @ 2021-07-05 14:06 夜的独白 阅读(746) 评论(0) 推荐(0)

摘要:AARRR模型是运营里面一个非常有名的用户分析模型,也是一个典型的漏斗模型,前段时间工作上写的分析材料里面也提到了这个模型,这个模型也可以作为数据分析的框架,这里结合了网上的一些参考资料,总结了模型中可能涉及到各项分析指标和分析方法。 ![在这里插入图片描述](https://img-blog.cs 阅读全文
posted @ 2021-07-05 13:48 夜的独白 阅读(620) 评论(0) 推荐(0)

摘要:在数据分析过程中,某一分析结果可能不能通过数据直观的看出,而是需要把多个指标综合在一起进行评价从而得到最终结果。综合评价分析过程中,经常遇到的问题就是各个指标如何确定在总评分中所占比例,也就是权重。确定权重的方法有多种,这篇博文介绍比较简单的方法——目标优化矩阵表。(本篇博文参考《谁说菜鸟不会数据分 阅读全文
posted @ 2021-07-05 13:42 夜的独白 阅读(1376) 评论(0) 推荐(0)

摘要:基于Python的一次职位招聘数据分析 1 Python数据分析常用的库和库函数 2 一次完整的数据分析过程 * * 画图 工作地点处理 工资计量单位统一 公司类型 行业类型 参考 配套资源下载 职位信息分析.html job_info.csv 1 Python数据分析常用的库和库函数 常用库 pa 阅读全文
posted @ 2021-07-05 13:33 夜的独白 阅读(676) 评论(0) 推荐(0)

摘要:首先说明,这个内容不能说完全原创,结合了其他学习平台学习的思路,加上一点自己的理解。就是记录下来方便自己之后查阅。 目录 **1. 数据采集 2. 认识数据集 ** 数据集有csv json xlsx等格式,可以储存在本地或者服务器上。在分析数据之前需要将数据集导入到Jupyter中。本次利用Pan 阅读全文
posted @ 2021-07-05 11:41 夜的独白 阅读(1362) 评论(0) 推荐(0)

摘要:在数据分析和可视化中最有用的 50 个 Matplotlib 图表。 这些图表列表允许使用 python 的 matplotlib 和 seaborn 库选择要显示的可视化对象。 这里开始第四部分内容:分布(Distribution) 准备工作 在代码运行前先引入下面的设置内容。 当然,单独的图表, 阅读全文
posted @ 2021-07-05 11:37 夜的独白 阅读(659) 评论(0) 推荐(0)

摘要:任务 利用这里数据: 2020新冠肺炎记忆:报道、非虚构与个人叙述(持续更新) 结合下面文章中用到的方法 [ 以虎嗅网4W+文章的文本挖掘为例,展现数据分析的一整套流程 ](http://www.woshipm.com/data- analysis/873430.html) 完成描述性分析(发文数量 阅读全文
posted @ 2021-07-05 11:34 夜的独白 阅读(447) 评论(0) 推荐(0)

摘要:贝叶斯公式复述并解释应用场景 1)P(A|B) = P(B|A)*P(A) / P(B) 2)如搜索query纠错,设A为正确的词,B为输入的词,那么: P(A|B)表示输入词B实际为A的概率 P(B|A)表示词A错输为B的概率,可以根据AB的相似度计算(如编辑距离) P(A)是词A出现的频率,统计 阅读全文
posted @ 2021-07-05 11:06 夜的独白 阅读(228) 评论(0) 推荐(0)

摘要:做自我介绍,着重介绍跟数据分析相关的经验,还有自己为什么要做数据分析 略。 如果次日用户留存率下降了 5%该怎么分析 1)首先采用“两层模型”分析:对用户进行细分,包括新老、渠道、活动、画像等多个维度,然后分别计算每个维度下不同用户的次日留存率。通过这种方法定位到导致留存率下降的用户群体是谁 2)对 阅读全文
posted @ 2021-07-05 10:32 夜的独白 阅读(172) 评论(0) 推荐(0)

摘要:关于Python安装包以及一些库的安装。 在文中所给出的Enthought Python Distribution的链接中没有找到EPDfree 的版本,但是可以下载EnthoughtCanopy或者EDM。这里给出EPD的下载链接,EPD中只默认下载了easy_install的插件,没有pip,因 阅读全文
posted @ 2021-07-05 10:29 夜的独白 阅读(224) 评论(0) 推荐(0)

摘要:第4章 NumPy基础:数组和矢量运算 引用惯例:import numpy as np 基于NumPy的算法要比纯python快10到100倍(甚至更快),并且使用更少的内存。 4.1NumPy的ndarray:一种多维数组对象 ndarray是一个通用的同构数据多维容器,即 其中的元素必须是相同类 阅读全文
posted @ 2021-07-05 10:27 夜的独白 阅读(112) 评论(0) 推荐(0)

摘要:今天这篇文章来聊聊如何轻松学习『Python数据分析』,我会以一个数据分析师的角度去聊聊做数据分析到底有没有必要学习编程、学习Python,如果有必要,又该如何学习才能做到毫不费力。 想象是美好的,现实是残酷的 再看看当初找工作的时候看得那些招聘要求,都是要求熟练掌握各种数据工具,什么R、Pytho 阅读全文
posted @ 2021-07-05 10:26 夜的独白 阅读(290) 评论(0) 推荐(0)

摘要:小白一枚,金融大数据分析作业,顺便总结一下。 下面的数据以中国银行股票为例,其他股票的而分析方法类似。编程工具:Jupyter notebook 1. 导入数据分析包并设置好绘图工具属性 import pandas as pd import matplotlib.pyplot as plt impo 阅读全文
posted @ 2021-07-05 10:20 夜的独白 阅读(1202) 评论(0) 推荐(0)

摘要:数据挖掘入门与实战 公众号: datadw 原文:https://www.kesci.com/apps/home/#!/forum/postdetail/59194c685d9f204ee315ed90 回复公众号“携程预测”获取本文数据分析python源码. 调查发现,在出行产品业务中,不同区域的 阅读全文
posted @ 2021-07-02 14:50 夜的独白 阅读(415) 评论(0) 推荐(0)

摘要:背景 科赛网“Pandas做数据分析”数据集,进行探索分析 代码 首先,导入数据集,查看数据 背景 科赛网“Pandas做数据分析”数据集,进行探索分析 代码 首先,导入数据集,查看数据 ![数据集](https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQ 阅读全文
posted @ 2021-07-02 14:48 夜的独白 阅读(338) 评论(0) 推荐(0)

摘要:Python数据分析博文汇总 Pandas重复值处理函数drop_duplicates() Pandas数据库缺失值处理函数dropna Pandas中slice函数字段抽取 python数据分析-DataFrame数据框基本知识 Pandas数据库数据抽取 Numpy.random.randint 阅读全文
posted @ 2021-07-02 14:42 夜的独白 阅读(2859) 评论(0) 推荐(0)

摘要:呀~博主是正在学习数据分析的一员,记录的是自己学习过程中总结的知识点,肯定有不完善的地方,如有问题可以私聊我改正,共同学习进步。希望大家都能保持学习的热情,坚持自己,不断超越自己! 博客地址: qxi的博客 如果发现有些看不太懂了,可以看看我前面介绍的: numpy模块基础知识(1) numpy模块 阅读全文
posted @ 2021-07-02 14:34 夜的独白 阅读(58) 评论(0) 推荐(0)

摘要:本文参考《利用 Python 进行数据分析》的第五章 pandas入门 pandas拥有一组常用的数学和统计方法。它们大部分属于约简和汇总统计,用于从Series中提取单个值(如sum和mean),或从DataFrame的行或列中提取一个Series。跟对应的Numpy数组方法相比,它们都是基于没有 阅读全文
posted @ 2021-07-02 14:27 夜的独白 阅读(178) 评论(0) 推荐(0)

摘要:——python sql pandas在数据处理上有着丰富且高效的函数,我们把数据清理、整理好后,只是一张原始的DataFrame。python也能像SQL一样或者excel里面的voolkup一样将数据进行合并,也能像excel里面的透视表或者sql group by一样进行数据透视组合,也能像e 阅读全文
posted @ 2021-07-02 14:24 夜的独白 阅读(447) 评论(0) 推荐(0)

摘要:scipy为python提供了矩阵的运算,还有功能:最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号和图像处理、常微分方程的求解等等。安装scipy之前必须安装numpy。 例子如下,python3在pycharm中编译: from scipy.optimize import fs 阅读全文
posted @ 2021-07-02 14:16 夜的独白 阅读(370) 评论(0) 推荐(0)

摘要:接着上一篇文章,这里对爬取到的数据进行简单的数据分析 开发环境:jupyter 导入依赖的包 %matplotlib inline # 数据处理 import pandas as pd import numpy as np # 绘图 import matplotlib.pyplot as plt # 阅读全文
posted @ 2021-07-02 14:14 夜的独白 阅读(400) 评论(0) 推荐(0)

摘要:Python数据分析案例实战 课程大纲: 第一课:电力窃漏电用户识别系统案例实战 传统的窃漏电分析是通过人工检测来进行的,对人的依赖性太大,为了提高窃漏电的判别效率,电力公司决定先根据用户的电表数据进行初步的自动判断,对于判别为窃漏电的用户再进行人工检测。 第二课:公共交通运营数据分析案例实战 某公 阅读全文
posted @ 2021-07-02 14:10 夜的独白 阅读(1024) 评论(0) 推荐(0)

摘要:# -*- coding: utf-8 -*- import pandas as pd from pandas import Series,DataFrame import numpy as np string_data=Series(['aa','bb','cc',np.nan]) print(s 阅读全文
posted @ 2021-07-02 14:07 夜的独白 阅读(396) 评论(0) 推荐(0)

摘要:文章目录 数据分析-相关笔记 * 1、matplotlib * 1.01、matplotlib折线图 * 1.01-1、matplotlib基本要点: 1.01-2、 实例1:画出10点到12点每分钟的温度变化 1.02、其他类型图的画法 1.03、绘制多条条形图 2、numpy * 2.01、nu 阅读全文
posted @ 2021-07-02 14:04 夜的独白 阅读(165) 评论(0) 推荐(0)

摘要:_Pandas数据读取、索引与计算 _ Pandas数据结构为DataFrame,里面可以同时是int、float、object(string类型时)、datatime、bool数据类型 import pandas food_info = pandas.read_csv("food_info.csv 阅读全文
posted @ 2021-07-02 13:56 夜的独白 阅读(305) 评论(0) 推荐(0)

摘要:一、单变量分析绘图 什么是单变量分析? 单变量其实就是我们通常接触到的数据集中的一列数据。 单变量分析是数据分析中最简单的形式,其中被分析的数据只包含一个变量。因为它是一个单一的变量,它不处理原因或关系 单变量分析的主要目的是描述数据并找出其中存在的模式,也就是“用最简单的概括形式反映出大量数据资料 阅读全文
posted @ 2021-07-02 13:53 夜的独白 阅读(2739) 评论(0) 推荐(0)

摘要:一、数据合并 数据合并主要包括两种操作: 轴向连接(concatenation):pd.concat()可以沿一个轴将多个DataFrame对象连接在一起,形成一个新的DataFrame对象 融合(merging):pd.merge()方法可以根据一个或多个键将不同的DataFrame中的行连接在一 阅读全文
posted @ 2021-07-02 13:46 夜的独白 阅读(832) 评论(0) 推荐(0)

摘要:如今大数据行业十分火热,本人认为python是比较强大的分析工具,在网易云课堂上学习了python数据分析。做了案例,写下代码分析过程以及分析结论。 以下是电商打折套路的python数据分析项目。 # -*- coding: utf-8 -*- """ Created on Wed Jan 9 15 阅读全文
posted @ 2021-07-02 13:44 夜的独白 阅读(346) 评论(0) 推荐(0)

摘要:Python数据分析基础(高清版)PDF 百度网盘 链接:https://pan.baidu.com/s/1ImzS7Sy8TLlTshxcB8RhdA 提取码:6xeu 复制这段内容后打开百度网盘手机App,操作更方便哦 内容简介 · · · · · · 想深入应用手中的数据?还是想在上千份文件上 阅读全文
posted @ 2021-07-02 12:03 夜的独白 阅读(1218) 评论(0) 推荐(0)

摘要:第二章 Numpy基础 2.6 改变数组维度 ravel()、flatten() 将多维数组展平 b.transpose() 矩阵转置,等同于b.T,一维数组不变 reshape() 改变数组维度 2.8 组合数组 hstack((a, b)) 水平组合,等同于 concatenate((a, b) 阅读全文
posted @ 2021-07-02 11:37 夜的独白 阅读(365) 评论(0) 推荐(0)

摘要:文章目录 * 一、关于基金定投 * 数据来源 接口规范 常见指数基金/股票代码 二、分析目标 三、代码实现 * 1、定义获取数据、清洗数据的函数 2、定义定投策略函数 3、计算2019年对沪深300指数基金进行定投的收益率 4、假设定投的金额是500元,每周定投一次,据此分别计算从2002年开始到2 阅读全文
posted @ 2021-07-02 11:33 夜的独白 阅读(1461) 评论(0) 推荐(0)

摘要:岗位数据分析 分析背景 这是一个用数据说话的时代,也是一个依靠数据竞争的时代,日前生活各处都离不开数据随之数据信息日益增长,需要从数据中搜集、整理、分析,并依据数据做出行业研究、评估和预测为公司提升业绩等,所需职业就是数据分析师。在招聘网站有很多数据分析师的招聘信息,那接下就用数据分析可视化更加直观 阅读全文
posted @ 2021-07-02 11:28 夜的独白 阅读(941) 评论(0) 推荐(0)

摘要:python数据分析及特征工程(实战) * 1.数据分析 * 1.1单属性分析 * 1.1.1 异常值分析 1.1.2 分布分析 1.1.3 对比分析 1.1.4 结构分析 1.2多属性分析 * 1.2.1假设检验 1.2.2 相关系数 1.2.3 主成分分析PCA 2.特征工程 * 2.1 数据清 阅读全文
posted @ 2021-07-02 11:15 夜的独白 阅读(510) 评论(0) 推荐(0)

摘要:PART 3 数据库应用 (占比 17%) 总体要求 理解数据库的基本概念、理解 DDL 及 DML 语言、能够根据业务需求及数据特征使用查询语言从数据库中获取准确、完整的数据信息、能够应用数据库函数进行数据处理及计算 1 、数据库相关概念 ( 占比 1% ) 【领会】 数据库分类 数据库的功能定位 阅读全文
posted @ 2021-07-01 19:50 夜的独白 阅读(189) 评论(0) 推荐(0)

摘要:【Matlab】 文章目录 A 数据统计分析 * A.a 求最大值与最小元素 A.b 求平均值和中值 A.c 求和与求积 A.d 累加和与累乘积 A.e 求标准差与相关系数 A.f 排序 B 多项式计算 * B.a 多项式的表示 B.b 多项式的四则运算 B.c 多项式的求导(polyder) B. 阅读全文
posted @ 2021-07-01 19:47 夜的独白 阅读(120) 评论(0) 推荐(0)

摘要:假设检验分为参数假设检验和分布拟合假设检验和非参数检验 一、假设检验的思想: 建立假设 选择检验统计量并给出拒绝域形式 选择显著性水平 给出拒绝域 做出判断 二、p 值:利用样本观测值能够作出拒绝原假设的最小显著性水平 三、参数假设检验类型:详见茆诗松 正态总体参数假设检验 指数参数假设检验,对指数 阅读全文
posted @ 2021-07-01 19:46 夜的独白 阅读(238) 评论(0) 推荐(0)

摘要:1、字符串组合 &可用于组合两个字符串 例如”a”&”b”可以得到ab,如果组合的字符串中含有双引号,可以加上转义符“ 阅读全文
posted @ 2021-07-01 19:44 夜的独白 阅读(283) 评论(0) 推荐(0)

摘要:1. 赛题背景 校园一卡通是集身份认证、金融消费、数据共享等多项功能于一体的信息集成系统。在为师生提供优质、高效信息化服务的同时,系统自身也积累了大量的历史记录,其中蕴含着学生的消费行为以及学校食堂等各部门的运行状况等信息。 很多高校基于校园一卡通系统进行“智慧校园”的相关建设,例如《扬子晚报》20 阅读全文
posted @ 2021-07-01 19:42 夜的独白 阅读(1568) 评论(0) 推荐(0)

摘要:从今天开始看 《Python数据分析实战》 这本书,今天看了这本书的第三章:Numpy部分,在书中看到了numpy中的两个方法numpy.column_stack与numpy.row_stack有一点自己的思考,先上代码: >>> import numpy as np >>> a = np.arra 阅读全文
posted @ 2021-07-01 19:38 夜的独白 阅读(285) 评论(0) 推荐(0)

摘要:本文转自:http://blog.csdn.net/qq_27469517/article/details/53482563 整个第四章都是数据预处理。 4.1是数据清洗。就是处理无关数据,缺失或者异常数据等等。 具体看书,就不赘述了,还是上代码实践。 书上给的代码是有问题的! [python] v 阅读全文
posted @ 2021-07-01 19:33 夜的独白 阅读(477) 评论(0) 推荐(0)

摘要:本文是基于《Python数据分析与挖掘实战》的实战部分的第10章的数据——《家用电器用户行为分析与事件识别》 做的分析。 接着前一篇文章的内容,本篇博文重点是处理用水事件中的属性构造部分,然后进行构建模型分析。 1 属性构造 由文中可知:需要构造的属性如下: 热水事件起始数据编号、终止数据编号、开始 阅读全文
posted @ 2021-07-01 19:29 夜的独白 阅读(144) 评论(0) 推荐(0)

摘要:本文是基于《Python数据分析与挖掘实战》的实战部分的第12章的数据——《电子商务网站用户行为分析及服务推荐》做的分析。 由于此章内容很多,因此,分为三个部分进行分享——数据探索(上)、数据预处理(中)、模型构建(下) _ 本文是继前一篇文章,进行的工作。 本文是“ 数据预处理(中) ” 部分 _ 阅读全文
posted @ 2021-07-01 19:26 夜的独白 阅读(118) 评论(0) 推荐(0)

摘要:文章目录 1.挖掘背景与目标 2.2 数据探索与预处理 * 2.1 数据筛选 2.2 数据去重 2.3 删除前缀评分 2.4 jieba分词 3 基于LDA 模型的主题分析 4.权重 5.如何在主题空间比较两两文档之间的相似度 本文是基于《Python数据分析与挖掘实战》的实战部分的第15章的数据— 阅读全文
posted @ 2021-07-01 19:18 夜的独白 阅读(350) 评论(0) 推荐(0)

摘要:第0周 Python基本语法元素 conda : 一个工具,用于包管理和环境管理,其中:包管理与pip类似,管理Python第三方库环境管理能够允许用户使用不同版本Python,并能灵活切换 anaconda :一个集合,包括conda、某版本Python、一批第三方库等 conda将工具、第三方库 阅读全文
posted @ 2021-07-01 18:26 夜的独白 阅读(113) 评论(0) 推荐(0)

摘要:写在前面的话: 实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是: [ http://github.com/pydata/pydata-book ](http://github.com/pydata/pydata- book) 还有一定要说明的: 我使用的是Python2.7,书中 阅读全文
posted @ 2021-07-01 18:24 夜的独白 阅读(79) 评论(0) 推荐(0)

摘要:学习《利用Python进行数据分析》第二章的时候,处理1880-2010年间全美婴儿姓名数据,有句代码总是报错: total_births=names.pivot_table('births',rows='year',cols='sex',aggfunc=sum) [/code] 报错信息如下: ` 阅读全文
posted @ 2021-07-01 18:09 夜的独白 阅读(105) 评论(0) 推荐(0)

摘要:由于刚开始接触python的数据分析,第二章引言和第三章IPython就先略读了下,对能做的事和开发环境有了个大致的认识,但针对其中提到的一些优势还有没体会,回头再重新看。今天直接学习python数据分析中重要的库之一: Numpy(numerical python) 看看它在pypi上的说明(理解 阅读全文
posted @ 2021-07-01 18:04 夜的独白 阅读(35) 评论(0) 推荐(0)

摘要:import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline [/code] //anaconda/lib/python2.7/site-packages/matplotlib/fo 阅读全文
posted @ 2021-07-01 18:03 夜的独白 阅读(125) 评论(0) 推荐(0)

摘要:WGS(Whole Genome Sequencing) 指将物种细胞里面完整的基因组序列全部DNA,检测并排列,此技术几乎能够鉴定出基因组上任何类型的突变。 对于人类来说,全基因组测序的价值是极大的,它的信息包含了所有基因和生命特征之间的内在关联性,当然也意味着更大的数据解读和更高的技术挑战。 测 阅读全文
posted @ 2021-07-01 18:01 夜的独白 阅读(1035) 评论(0) 推荐(0)

摘要:《数据分析实战》–用R做聚类分析 本文参考的是 《数据分析实战》 的第八章。 背景: 针对某公司的产品,现目前需要服务好已有的用户,针对不同的用户群体设计并推广不同的营销策略。 现状: 目标用户不明确。 预期: 明确目标用户群。 读取数据 读取Dau数据: > dau <- read.csv('da 阅读全文
posted @ 2021-07-01 17:50 夜的独白 阅读(271) 评论(0) 推荐(0)

摘要:【赋值栅格】工具:此处仅设置【忽略背景值】为黑边像元值,而不设置NoData值,避免所有指定像素将在输出栅格数据集中被设置为 NoData。 忽略背景值: 1、 使用此选项移除在栅格数据周围创建的不需要的值 。指定的值与栅格数据集中的其他有用数据不同。例如,栅格边界上为零的值不同于栅格数据集内的零值 阅读全文
posted @ 2021-07-01 17:45 夜的独白 阅读(552) 评论(0) 推荐(0)

摘要:因为自己准备的时候战战兢兢,所以希望给学弟学妹一些经验,希望大家都万事胜意o( ̄▽ ̄)ブ 不知道这算不算侵字节爸爸的权啊,是的话麻烦提醒一下,我就删了…… 一、准备 岗位描述: 1、负责分字节跳动旗下国内外产品及业务的数据分析工作; 2、分析各项影响产品提升与增长的因素、各项业务细节,结合业务方向, 阅读全文
posted @ 2021-07-01 17:33 夜的独白 阅读(710) 评论(0) 推荐(0)

摘要:文章目录 * 一、工具库简介 * 1、作用 2、安装 3、统计方法归纳 二、描述性统计分析 * 1、介绍 2、操作 三、直方图 * 1、介绍 2、操作 四、抽样分析 * 1、介绍 2、操作 五、相关分析 * 1、介绍 2、操作 六、回归分析 * 1、介绍 2、操作 * 1)简单线性回归 2)多重线性 阅读全文
posted @ 2021-07-01 17:30 夜的独白 阅读(566) 评论(0) 推荐(0)