十一vs十一 - 博客园

2024年3月29日

摘要： Impala入门介绍一、impala基本介绍 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具， impala是参照谷歌的新三篇论文（Ca 阅读全文

posted @ 2024-03-29 17:43 十一vs十一阅读(75) 评论(0) 推荐(0)

客快物流大数据项目（一百零一）：实时OLAP开发 clickhouse的OLAP代码

摘要：实时OLAP开发一、实时ETL处理使用ClickHouse分析物流指标数据，必须将数据存储到ClickHouse中。业务流程：二、SparkSQL基于DataSourceV2自定义数据源 1、Data Source API V1 Spark 1.3 版本开始引入阅读全文

posted @ 2024-03-29 17:35 十一vs十一阅读(52) 评论(0) 推荐(0)

客快物流大数据项目(一)：物流项目介绍和内容大纲有用总体架构图

摘要：物流项目介绍和内容大纲一、项目简介本项目基于大型物流公司研发的智慧物流大数据平台，该物流公司是国内综合性快递、物流服务商，并在全国各地都有覆盖的网点。经过多年的积累、经营以及布局，拥有大规模的客户群，日订单达上千万，如此规模的业务数据量，传统的数据处理技术已经不能满足企业的经营分析需求。该公司需阅读全文

posted @ 2024-03-29 17:31 十一vs十一阅读(192) 评论(0) 推荐(0)

2024年3月16日

ranger 和kerberos 一般有用看1 速

摘要：再说ranger之前需要明白一下大数据的安全体系的整体介绍，安全体系其实也就是权限可控，先说说权限：权限管理的目标，绝对不是简单的在技术层面建立起用户，密码和权限点的映射关系这么简单的事，更重要的是要从流程合理性，业务隔离，实施代价，可执行性等方面进行考虑。单方面强调安全，结果往往并不理想。重要的通阅读全文

posted @ 2024-03-16 01:30 十一vs十一阅读(214) 评论(0) 推荐(0)

atlas 一般有用看1 速

摘要： 1 atlas的使用包含两方面：注入元数据信息到atlas中（本质上是写入元数据到atlas中）注入方式一：通过atlas为数据系统开发好的hook来注入方式二：通过atlas自带的web-ui来认同填写元数据信息注入方式三：通过调用atlas对外暴露的接口来灵活注入修改atlas的元数据的方式方式阅读全文

posted @ 2024-03-15 23:59 十一vs十一阅读(37) 评论(0) 推荐(0)

2024年3月15日

Azkaban面试题一般有用看1 速

摘要： Azkaban 是由Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用job 配置文件建立任务之间的依赖阅读全文

posted @ 2024-03-15 23:56 十一vs十一阅读(25) 评论(0) 推荐(0)

Kerberos面试题没用讲的不清楚

摘要：【这部分Kerberos原理,是最新总结，仅做参考】 Kerberos基本概念: 1. Kerberos中有三种角色: 服务器, 客户端 KDC（认证服务器）客户端和服务器要信任KDC 并且KDC要存储它们每个人的私有密码所生成的Hash密钥.这些hashkey被存储在account databa 阅读全文

posted @ 2024-03-15 23:51 十一vs十一阅读(269) 评论(0) 推荐(0)

ClickHouse 面试题一般有用看1 速

摘要： 1.ClickHouse是什么ClickHouse联机分析的数据库管理系统 2.列式存储和行式存储的区别列式存储的优点是同一列存放在一起，由于数据类型相同，可以进行很好的压缩，排序更加方便，查询时不需要读取一整行数据行式存储的优点是支持事务处理，更好的支持一致性 3.MergeTree是什么merg 阅读全文

posted @ 2024-03-15 18:38 十一vs十一阅读(789) 评论(0) 推荐(0)

Skywalking 一般有用看1 速

摘要：问：什么是Skywalking？答：Skywalking是一个针对分布式系统的开源应用程序性能监控（APM）工具。它专门为微服务、云原生和基于容器（例如Kubernetes）的架构设计，能够提供实时的可视化监控和健康状态，包括响应时间、吞吐量、错误率和资源利用率等指标。问：Skywalking是如阅读全文

posted @ 2024-03-15 01:30 十一vs十一阅读(61) 评论(0) 推荐(0)

银行主题域划分一般有用看1 速

摘要：当事人、产品、协议、事件、资产、财务、机构、地域、营销、渠道便于记忆：银行是一个企业，同时也是一个机构，涉及企业机构就会有资产，财务的存在，银行有自己的产品（信用卡，黄金，期货等）有产品就需要有人进行买卖，买卖的人这就是当事人，进行的买卖就是销售，有销售就得有渠道（不管是线上还是线下），在进行买卖阅读全文

posted @ 2024-03-15 01:29 十一vs十一阅读(585) 评论(0) 推荐(0)

公告