摘要：
关键组件 Client，代码由客户端获取并做转换，之后提交给JobMangerJobManager，对作业进行中央调度管理，获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。TaskManager，数据的处理操作 在emr上自建standalone集群，文件分发脚本 阅读全文
posted @ 2024-05-27 20:42
zhaojie10
阅读(18)
评论(0)
推荐(0)
摘要：
lakeformation在IAM权限模型之外提供独立的更细粒度的权限，控制数据湖数据的访问 能够提供列、行和单元格级别的精细控制 lakeformation的目的是要取代s3和iam策略，主要功能为 数据摄入，LF可以将不同类型的数据统一管理安全管理，混合接入，访问日志，行和单元格级别的安全，TB 阅读全文
posted @ 2024-05-27 20:34
zhaojie10
阅读(10)
评论(0)
推荐(0)
摘要：
lakeformation授权方式分为 基于tag的授权基于命名资源的授权 先决条件 跨账号共享数据的先决条件（命名资源和tag授权都需要） 分两种情况 如果账户中没有glue data catalog资源策略，则LakeFormation跨账户授予将照常进行 如果存在glue data catal 阅读全文
posted @ 2024-05-27 20:24
zhaojie10
阅读(11)
评论(0)
推荐(0)
摘要：
参考资料 lakeformation底层数据的访问逻辑 向lakeformation注册s3位置的目的是让lakeformation控制对AWS S3 位置底层数据的访问（以下简称LF） 注册s3位置后可以进行两种授权 数据访问授权（SELECT、INSERT 和 DELETE） 数据位置授权，在指 阅读全文
posted @ 2024-05-27 20:06
zhaojie10
阅读(5)
评论(0)
推荐(0)
浙公网安备 33010602011771号