摘要： 由于我的博客主要是由为知笔记推过来的，博客圆的markdown插件太久太久没更新不支持新的markdown语法，导致与为知笔记的markdown语法不兼容，看起来十分的混乱。如果你需要，可以给你源文件或者PDF。 阅读全文

摘要： OpenEulr 23.03 x86_64依赖安装centos7.6 x86_64依赖安装TOC 给postgres 12安装postgis。 postgres 12支持的postgis版本为:(检查postgis POSTGIS_PGSQL_VERSION) postgis>=2.5 OpenEu 阅读全文

摘要： hadoop用户代理简介用例配置实验TOC hadoop用户代理简介用例配置实验 hadoop用户代理简介 本文讲"超级用户"如何代理其它用户提交作业或访问集群。 这里的"超级用户"即是启动某个应用程序的用户。例如有一个应用app01，则app01中的启动用户app为即为"超级用户"。如果app01 阅读全文

摘要： 前言metastore参数metastore的基本参数metastore的额外参数客户端参数使用zk自动发现mestastore启动hive metastore服务 前言 本节讲metastore相关的知识. hive所有的元数据都是通过matestore管理的.hive cli/hiveserver2包含了内置的metastore. metastore参数 metastore的基本参数... 阅读全文

摘要： 参考： https://blog.csdn.net/wuliusir/article/details/45010129 https://blog.csdn.net/zhong_han_jun/article/details/50814246 1.split的计算方式： splitsize = max(splitsize,min(blocksize,filesize/NUMmaps)) N... 阅读全文

摘要： 1.先决条件 要使用yarn的capcitiy调度器,必须开启yarn的ACLs,否则队列ACLs设置不生效 开启yarn ACLs: # hadoop: core-site.xml hadoop.security.authorization=true #开启服务级别验证,否则hadoop组件的ac 阅读全文

摘要： 简介环境安装依赖安装步骤1.删除旧版本的docker2.安装docker2.1 yum安装docker2.2 tar安装2.3 在线脚本事实证明以上的安装方式都行不通 参考文档:https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-docker-ce 简介 docker包括:Community ... 阅读全文

摘要： 1.启动复制时报"ERROR OGG-15050 Oracle GoldenGate Delivery, l***.prm: Error loading Java VM runtime library: (2 No such file or directory)."设置环境变量LD_LIBRARY_PATH,然后重启mgr,再启动rhdfs.如果不重启mgr直接启动rhdfs,则会报这个错2. 对... 阅读全文

摘要： http://blog.chinaunix.net/uid-26190993-id-3434074.html 在OGG运行过程中，通常会因为各种各样的原因导致容灾端的REPLICAT进程ABENDED掉，这个时候需要通过分析ggserr.log , DISCARDFILE , REPLICAT REPORT ,以及借助 Logdump 等工具去定位错误。在具体的应用场景下，通过分析排查，有些... 阅读全文

摘要： 1.classpathclasspath中需要这两项：Flume Agent configuration file and the second are the Flume client jars (flume 代理配置和flume 客户端jar).OGG flume handler使用前者解析主机、端口、连接类型等 。实际上，只需要加入dirprm这个目录和flume_home/lib下即可以2... 阅读全文

摘要： 1.配置kafka 参数文件在ogg主目录下有示例文件:[root@WH0PRDBRP00AP0013 ogg]# cd AdapterExamples/big-data/kafka/[root@WH0PRDBRP00AP0013 kafka]# lscustom_kafka_producer.properties kafka.props rkafka.prmcustom_kafka_prod... 阅读全文