[置顶] 关于博客的格式
摘要：
由于我的博客主要是由为知笔记推过来的，博客圆的markdown插件太久太久没更新不支持新的markdown语法，导致与为知笔记的markdown语法不兼容，看起来十分的混乱。如果你需要，可以给你源文件或者PDF。 阅读全文
posted @ 2017-08-30 21:39 月饼馅饺子 阅读(268) 评论(0) 推荐(0) 编辑
95.安装postgis
摘要：
OpenEulr 23.03 x86_64依赖安装centos7.6 x86_64依赖安装TOC 给postgres 12安装postgis。 postgres 12支持的postgis版本为:(检查postgis POSTGIS_PGSQL_VERSION) postgis>=2.5 OpenEu 阅读全文
posted @ 2024-03-07 16:02 月饼馅饺子 阅读(6) 评论(0) 推荐(0) 编辑
HADOOP docker(五):hadoop用户代理 Proxy user
摘要：
hadoop用户代理简介用例配置实验TOC hadoop用户代理简介用例配置实验 hadoop用户代理简介 本文讲"超级用户"如何代理其它用户提交作业或访问集群。 这里的"超级用户"即是启动某个应用程序的用户。例如有一个应用app01，则app01中的启动用户app为即为"超级用户"。如果app01 阅读全文
posted @ 2021-01-12 17:47 月饼馅饺子 阅读(1764) 评论(0) 推荐(0) 编辑
9.Hive Metastore Administration
摘要：
前言metastore参数metastore的基本参数metastore的额外参数客户端参数使用zk自动发现mestastore启动hive metastore服务 前言 本节讲metastore相关的知识. hive所有的元数据都是通过matestore管理的.hive cli/hiveserver2包含了内置的metastore. metastore参数 metastore的基本参数... 阅读全文
posted @ 2019-01-24 16:31 月饼馅饺子 阅读(956) 评论(0) 推荐(0) 编辑
3.控制hive map reduce个数
摘要：
参考： https://blog.csdn.net/wuliusir/article/details/45010129 https://blog.csdn.net/zhong_han_jun/article/details/50814246 1.split的计算方式： splitsize = max(splitsize,min(blocksize,filesize/NUMmaps)) N... 阅读全文
posted @ 2019-01-24 14:11 月饼馅饺子 阅读(1850) 评论(0) 推荐(0) 编辑
6.capacity scheduler
摘要：
1.先决条件 要使用yarn的capcitiy调度器,必须开启yarn的ACLs,否则队列ACLs设置不生效 开启yarn ACLs: # hadoop: core-site.xml hadoop.security.authorization=true #开启服务级别验证,否则hadoop组件的ac 阅读全文
posted @ 2019-01-18 17:55 月饼馅饺子 阅读(855) 评论(0) 推荐(0) 编辑
1.centos6.8安装docker
摘要：
简介环境安装依赖安装步骤1.删除旧版本的docker2.安装docker2.1 yum安装docker2.2 tar安装2.3 在线脚本事实证明以上的安装方式都行不通 参考文档:https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-docker-ce 简介 docker包括:Community ... 阅读全文
posted @ 2017-10-22 23:07 月饼馅饺子 阅读(14417) 评论(0) 推荐(0) 编辑
OGG 跳过事务(转)
摘要：
http://blog.chinaunix.net/uid-26190993-id-3434074.html 在OGG运行过程中，通常会因为各种各样的原因导致容灾端的REPLICAT进程ABENDED掉，这个时候需要通过分析ggserr.log , DISCARDFILE , REPLICAT REPORT ,以及借助 Logdump 等工具去定位错误。在具体的应用场景下，通过分析排查，有些... 阅读全文
posted @ 2017-08-31 00:20 月饼馅饺子 阅读(937) 评论(0) 推荐(0) 编辑
OGG 问题
摘要：
1.启动复制时报"ERROR OGG-15050 Oracle GoldenGate Delivery, l***.prm: Error loading Java VM runtime library: (2 No such file or directory)."设置环境变量LD_LIBRARY_PATH,然后重启mgr,再启动rhdfs.如果不重启mgr直接启动rhdfs,则会报这个错2. 对... 阅读全文
posted @ 2017-08-31 00:20 月饼馅饺子 阅读(1583) 评论(0) 推荐(0) 编辑
flume handler
摘要：
1.classpathclasspath中需要这两项：Flume Agent configuration file and the second are the Flume client jars (flume 代理配置和flume 客户端jar).OGG flume handler使用前者解析主机、端口、连接类型等 。实际上，只需要加入dirprm这个目录和flume_home/lib下即可以2... 阅读全文
posted @ 2017-08-31 00:19 月饼馅饺子 阅读(540) 评论(0) 推荐(0) 编辑
kafka handler
摘要：
1.配置kafka 参数文件在ogg主目录下有示例文件:[root@WH0PRDBRP00AP0013 ogg]# cd AdapterExamples/big-data/kafka/[root@WH0PRDBRP00AP0013 kafka]# lscustom_kafka_producer.properties kafka.props rkafka.prmcustom_kafka_prod... 阅读全文
posted @ 2017-08-31 00:18 月饼馅饺子 阅读(1542) 评论(0) 推荐(0) 编辑