shan_zhayidian

摘要： 文章引自：https://www.meiwen.com.cn/subject/ypmbpctx.html flink提供不同的状态后端（state backends）来区分状态的存储方式和存储位置。flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，flink允许应用保持大容量 阅读全文

摘要： flink的事务之两阶段提交 场景描述： 两阶段提交（two-phase commit, 2PC）是最基础的分布式一致性协议，应用广泛。本文来介绍它的相关细节以及它在Flink中的典型应用场景。。 简介： 2PC 在分布式系统中，为了让每个节点能够感知其他所有节点的事务执行情况，需要我们引入一个中心 阅读全文

摘要： Linux命令--nc （测试服务器端口是否打开） ##参数 想要连接到某处: nc [-options] hostname port[s] [ports] …绑定端口等待连接: nc -l port [-options] [hostname] [port] -g<网关>：设置路由器跃程通信网关，最 阅读全文

摘要： Hadoop fs | hdfs dfs 命令分类本地文件 -> HDFS -copyFromLocal 将本地文件数据拷贝到hdfs -moveFromLocal 将本地文件数据移动到hdfs，成功后本地数据会删除 -appendToFile 追加一个文件到已经存在的文件末尾 -put 将本地数据 阅读全文

摘要： 1.1. 常见问题 l 现象:hive中的mr只能执行一次,如果执行第二次就会报这个错误; l 解决方案 n Yarn-site.xml;不要配置ha(高可用) <?xml version="1.0"?> <configuration> <!-- 配置yarn --> <property> <nam 阅读全文

摘要： 首先启动 zookeeper : bin/zkServer.sh restart 启动zookeeper以后查看是否启动成功 : bin/zkServer.sh status 在启 NameNode 和 DataNode 守护进程。sbin/start-all.sh hive服务器启动命令:启动 : 阅读全文

摘要： 首先还是修改flink安装目录的conf目录下flink-conf.yaml文件，找到如下的三个配置，把原本的注释放开，然后配置自己的hdfs地址和zookeeper地址。 需要注意的是，我这里的hdfs是之前的ha集群，mycluster是我的hdfs的集群名，至于后边的内容会在hdfs中创建路径 阅读全文

摘要： 50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提 阅读全文

摘要： 使用API时，先引入maven依赖 <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-driver</artifactId> <version>3.11.1</version> </dependency> 创建连接 阅读全文

摘要： 设置在source和channel之间的插件式组件，source接收的事件，在写入channel之前，连接器都可以进行转换或者删除，每个拦截器只能同时处理一个source接收的事件。 timestemp interceptor--时间戳拦截器 host interceptor--主机拦截器 stat 阅读全文