2020年12月14日

摘要:问题场景:使用shell脚本调用jasypt.jar的对一个已加密字串进行解码时报出java.security.spec.InvalidKeySpecException: Password is not ASCII错误。其中加密字串和加密秘钥都是从yaml文件中解析的。以下内容描述了错误处理过程 问 阅读全文
posted @ 2020-12-14 16:06 camash 阅读(47) 评论(0) 推荐(0) 编辑

2020年9月29日

摘要:在使用xmind梳理知识点的时候,因为长期积累,单个文件的节点数可能超过1000个,层级可能超过6层。但在我们做文件分享时,可能只需要提供3层的思维导图,这时候就需要对子节点进行删除。原始的方法,就是在xmind界面下选中要删除的节点,然后一个个删除……当然,如果有上千个节点时就需要考虑别的方式来进 阅读全文
posted @ 2020-09-29 21:19 camash 阅读(437) 评论(0) 推荐(0) 编辑

2020年7月10日

摘要:随着我司的应用都开始容器化,相应的ETL流程也需要迁移到容器中。常规的SQL和shell脚本迁移之后执行基本没有问题,主要的问题在于数据接入使用kettle的场景下,kettle启动异常。 kettle部署方式 kettle挂载在某台主机的路径下,该路径映射到一个装有Azkaban容器的路径,日常任 阅读全文
posted @ 2020-07-10 15:07 camash 阅读(763) 评论(0) 推荐(0) 编辑

2020年7月6日

摘要:6月份的大部分时间在完成一个特殊的数据迁移工具,将文件中的标签整合到关系型数据库的表字段中。从近几年的技术趋势和参与的项目看,基本都是从关系型数据库往大数据组件迁移。在这个项目中,主要是客户和相关应用的供应商依赖于PostgreSQL的GIS插件。因此我也有幸使用了一次PostgreSQL数据库。本 阅读全文
posted @ 2020-07-06 22:02 camash 阅读(209) 评论(0) 推荐(0) 编辑

2020年6月29日

摘要:方法: 直接从系统视图构造修改的sql select concat('alter table ' ,table_name ,' CHANGE ' ,COLUMN_NAME, ' ' ,COLUMN_NAME, ' ' ,DATA_TYPE ,'(' ,CHARACTER_MAXIMUM_LENGTH 阅读全文
posted @ 2020-06-29 18:22 camash 阅读(279) 评论(0) 推荐(0) 编辑

2020年6月7日

摘要:接上一篇数据仓库知识点梳理(3)对数据立方体和MDX的介绍,本文将在本地Windows环境上搭建基于数据立方体的数据分析平台。并对一个示例立方体进行多维度分析。 环境配置 软件下载和安装 本文使用Pentaho的社区版本BI Server作为数据多维分析的工具,下载地址为https://source 阅读全文
posted @ 2020-06-07 22:35 camash 阅读(177) 评论(0) 推荐(0) 编辑

2020年4月30日

摘要:疫情期间,好多国家都推行了居家隔离的政策。为了充实大家的宅家生活,一些公司和机构都免费开放了版权资料。比如约翰霍普金斯大学的「muse」项目https://about.muse.jhu.edu/resources/freeresourcescovid19/,收集了不少大学图书馆的电子书,可以在线观看 阅读全文
posted @ 2020-04-30 23:44 camash 阅读(191) 评论(0) 推荐(0) 编辑

2020年4月25日

摘要:本文介绍了OLAP数据立方体的基本定义和要素,以及数据分析时对立方体的基本操作类型和在商业软件中对立方体进行操作的MDX语言。 阅读全文
posted @ 2020-04-25 22:58 camash 阅读(327) 评论(0) 推荐(1) 编辑

2020年4月7日

摘要:本文从业务分析的归因/相关性分析的方式,引入了维度建模,两者具有相同分析路径。然后介绍了维度建模的基础——事实表和维度表,它们关联之后的产物即星型模型。 阅读全文
posted @ 2020-04-07 22:16 camash 阅读(834) 评论(0) 推荐(1) 编辑

2020年3月29日

摘要:近几年随着「大数据」、「数据驱动」、「数据中台」等概念在互联网界的热炒,懂数据的获取、处理到算法推荐、模型预测等人才也得到热捧。观感上,这些技能领域是随着大数据时代而来的。而实际上,早在上世纪80年到90年代初数据仓库和数据决策支持系统概念已经提出,本质上都是将多源头的数据集中起来,采用统计学的方法 阅读全文
posted @ 2020-03-29 21:42 camash 阅读(1176) 评论(0) 推荐(1) 编辑

导航

统计