读数据分析思维通识课08利用大模型

1. 大模型的威力
1.1. “大模型”通常指在机器学习和人工智能领域使用的具有大量参数的模型
- 1.1.1. 模型包含数百万到数十亿个参数,通常通过大规模的数据集进行训练
1.2. 大模型其实就是一种特别强大的计算机程序,它通过阅读和学习海量的图书、文章、网页等来理解和使用语言
1.3. 大模型的工作原理类似于玩匹配游戏
1.4. 提示词
1.5. 大数定律是概率论中的一个重要原理,它描述了在独立重复实验的情况下,随着实验次数的增加,样本平均值会趋向于稳定地接近于总体平均值的现象
1.6. 大模型的能力让人震惊,但它们并非万能
-
1.6.1. 它们的输出质量依赖于输入数据的质量与多样性
-
1.6.2. 数据的准确性、完整性以及代表性至关重要
1.7. 大模型生成的内容并非总是真实准确的
- 1.7.1. 作为数据分析师,我们必须运用自己的专业知识和经验来判断大模型给出的结果是否符合实际预期,以及大模型给出的逻辑是否存在“小数谬误”“幸存者偏差”等隐藏错误,我们更要注意大模型引用的数据是否真实可靠,避免大模型引入的“幻觉”给数据结论带来偏差
1.8. 随着大模型在不同场景中的广泛应用,我们应该意识到大模型在多个领域会超过初学者的认知,我们需要使用“魔法词”来引导大模型给出专业、正确且易于理解的内容
2. 数据分析工具
2.1. ClickHouse
-
2.1.1. 数据存储与分析引擎
-
2.1.2. 它使用的不是非常复杂的NoSQL,而是很简单的SQL,数据分析师、产品经理和运营人员对SQL都非常熟悉
-
2.1.3. 它的宽表查询速度非常快
-
2.1.4. ClickHouse整体部署和维护安装比较简单,当数据量不是特别大时,一台服务器即可处理,普通的运维人员就可以维护
-
2.1.5. ClickHouse是作为数据查询平台来使用的,它既做用户行为分析,也就是进行网上各种App和网络日志的查询;也做用户画像的数据分析,即对不同用户画像标签的圈选人群进行人群探查和投放效果预测
-
2.1.5.1. 还可以用于各种服务器日志的监控报警,当服务出现问题时,管理人员可以快速找到相关问题的原因
-
2.1.6. 使用ClickHouse都可以实现针对用户日志的秒级查询,而不再需要数据运营和产品团队执行复杂的脚本任务和处理
2.2. Apache SeaTunnel
-
2.2.1. 数据同步工具
-
2.2.2. 目前支持超过100个数据源,它用一套界面和代码就可以同时支持实时数据和批量数据,使得从MySQL、MongoDB、Oracle、阿里云数据库、OSS(Object Storage Service,对象存储服务),到Amazon S3(Simple Storage Service,简单存储服务),都可以快速同步到各种各样的本地数据库/云数据库,如Redshift、Doris、ClickHouse等
2.3. Apache DolphinScheduler
-
2.3.1. 数据处理与调度平台
-
2.3.2. 优点是全部配置可视化(数据分析师的最爱),而且超级稳定、易扩展。在安装完后,你不需要掌握服务器脚本或任何大数据平台语言,只需要把自己熟悉的SQL脚本拖放到这个调度平台,再用连线表示数据表之间的逻辑关系,就可以得到一个高效的大数据调度处理流程
-
2.3.3. 底层采用的是云原生技术,扩展性和稳定性都非常优秀
-
2.3.4. 在数据逻辑脚本比较清晰的情况下,不用写代码就可以直接配置
2.4. Apache ECharts
- 2.4.1. 数据展示工具
2.5. 对于数据分析思维来说,最重要的是思维本身
-
2.5.1. 具体用什么工具,只要顺手,哪怕是Excel,也可以做出非常出色的数据分析效果
-
2.5.2. 没有好的数据分析思维,展示效果再酷炫也是徒劳
-
2.5.3. 数据分析的核心在于思维,酷炫的工具就像美颜滤镜,基础不好,面对现实就会原形毕露,所以你应该更多地关注数据分析的思路
3. 其他
3.1. 置信水平是指估计的参数值落在某个区间的概率,一般用1-α表示(大多数情况下取95%)
3.2. 置信区间是参数值能取到的概率大于或等于置信水平的区间
3.3. 哈勃用散点图展示了星系的退行速度与它们距离地球的远近之间的关系
3.4. 哈勃发现与地球距离越远的星系的退行速度越快,这让哈勃找到了天文学领域最重要的规律之一—哈勃定律
-
3.4.1. 退行速度 = H0 × 距离
-
3.4.2. 其中H0就是哈勃常数
-
3.4.3. 这个定律是支持宇宙大爆炸理论和解释宇宙膨胀概念的关键证据,也使哈勃成为近代最著名的天文学家之一
3.5. 标准差衡量数据点与其平均值之间的离散程度
3.6. 圆周率的算法最早由希腊数学家阿基米德在公元前250年发明,算法逻辑很简单,也就是对圆内接和外切两个多边形
3.7. 1630年,多位数学家利用多边形推导的方式将π计算到第39位小数,一直到1699年,其他数学家才利用无穷级数的方式打破该纪录,计算到第71位小数
3.8. 数据分析行业个人职业发展方向
-
3.8.1. 算法*科学家
-
3.8.2. 增长*黑客
-
3.8.3. 数据分析*极客
4. 网站和信息渠道
4.1. 宏观数据
-
4.1.1. 经济合作与发展组织开放的数据网
-
4.1.2. 世界银行公开数据
-
4.1.3. 中国统计年鉴
-
4.1.4. 统计局网站
-
4.1.5. 新华社-全球经济数据
-
4.1.6. 中国互联网络信息中心
-
4.1.7. 中财网
4.2. 互联网数据
-
4.2.1. Alexa
-
4.2.2. 百度指数
-
4.2.3. 微指数
-
4.2.4. 淘宝指数
-
4.2.5. 阿里价格指数
-
4.2.6. SimilarWeb
-
4.2.7. NetMarketShare
-
4.2.8. StatCounter
4.3. 行业数据库
-
4.3.1. 数据汇
-
4.3.2. 数据圈
-
4.3.3. 镝数聚
-
4.3.4. 联合国图书馆
-
4.3.5. 票房数据
-
4.3.6. 中国票房数据
-
4.3.7. 行业分析机构:Gartner、Forrester、Bloomberg、易观、艾瑞、新榜等
4.4. 企业数据
-
4.4.1. 巨潮资讯
-
4.4.2. EDGAR
-
4.4.3. 企业招股说明书、年报、半年报、季报、券商分析报告
浙公网安备 33010602011771号