摘要: 场景:比如在hue里面通过向需要认证的livy提交spark任务,希望认证用户和代理用户分开 条件:假设livy已经开启认证功能,比如自定用户名密码的认证 https://www.cnblogs.com/aichihuluobo/p/17272688.html 1 Livy打开impersonate 阅读全文
posted @ 2023-07-19 14:35 我爱吃胡萝卜 阅读(95) 评论(0) 推荐(0)
摘要: 1 可行性分析 查看官方文档 https://prestodb.io/docs/current/develop/password-authenticator.html After a plugin that implements PasswordAuthenticatorFactory has be 阅读全文
posted @ 2023-03-30 17:20 我爱吃胡萝卜 阅读(267) 评论(0) 推荐(0)
摘要: 1 可行性分析(配置) https://github.com/apache/incubator-livy/blob/v0.7.1-incubating-rc1/conf/livy.conf.template 在最新的发布版本,下列配置表明:Livy除了支持Kerberos认证外,还支持自定义的认证过 阅读全文
posted @ 2023-03-30 16:33 我爱吃胡萝卜 阅读(211) 评论(0) 推荐(0)
摘要: 问题描述:ranger在checkPrivileges(org.apache.ranger.authorization.hive.authorizer.RangerHiveAuthorizer)时,当类型是uri时会校验格式,必须是hdfs:,file: if (hiveObjType == Hiv 阅读全文
posted @ 2022-12-26 14:59 我爱吃胡萝卜 阅读(162) 评论(0) 推荐(0)
摘要: 问题:版本的支持 在文章Submarine Spark Security Plugin安装(0.6.0版本)中,插件可以支持spark 3.1.1(scala 2.12)。而在后续我们将spark版本升级到3.3.0,出现以下报错。 参考官方文档:https://kyuubi.readthedocs 阅读全文
posted @ 2022-12-26 10:52 我爱吃胡萝卜 阅读(985) 评论(0) 推荐(0)
摘要: 背景:在使用Ranger鉴权的过程中,要求必须开启impersonation功能(即执行用户与提交用户保持一致,而不是统一代理的hive/spark)。但是在执行的过程中,会需要在hdfs存储临时的文件,此时容易出现权限不足的问题。对此,我们需要关注这些路径的生成/使用规则。 路径分析 报错异常的日 阅读全文
posted @ 2022-11-16 16:04 我爱吃胡萝卜 阅读(306) 评论(0) 推荐(0)
摘要: 参考 https://submarine.apache.org/zh-cn/docs/0.6.0/userDocs/submarine-security/spark-security/ 从ranger的github地址https://github.com/apache/ranger中可以发现当前ra 阅读全文
posted @ 2022-11-10 11:59 我爱吃胡萝卜 阅读(570) 评论(0) 推荐(0)
摘要: 在都是开源组件的前提下,一般需要我们多关注到组件和插件的版本和类型选择。 参考 https://zhuanlan.zhihu.com/p/370263573 https://www.bookstack.cn/read/prestodb-0.275-en/3a348d99bfaf1023.md Ran 阅读全文
posted @ 2022-11-01 17:32 我爱吃胡萝卜 阅读(94) 评论(0) 推荐(0)