lomi

摘要： flink部署模式 部署模式：flink里面的 计算程序 运行的方式 session session模式一个flink集群可以跑多个计算任务，资源共享 session模式下集群是提前启动的，然后向flink集群提交job per-job(高版本已经不推荐了) per-job模式下，一个集群只跑一个计 阅读全文

摘要： 目录local模式Standallone节点分布Flink on Yarn启动历史服务器启动历史服务器flink其他部署模式yarn模式下部署单作业模式flink和应用模式flink集群应用模式单作业模式：standallone模式下应用模式 下面flink部署模式默认是session模式，flin 阅读全文

摘要： TypeHint,TypeInformation,Types 区别 TypeInformation是flink的类型定义，TypeHint是描述用于描述泛型参数的辅助类，Types 是一个封装了常用TypeInformation的工具类 描述问题 下面一段代码的有两个参数，第一个来自数据流元素，他的 阅读全文

摘要： 目录基本概念介绍flink安装数据来源(source)一个简单的输入例子fink获取数据源的方式使用连接器定义的数据源需要导入jar包fromSource可以使用连接器定义的数据源DataGeneratorSource可以辅助生成测试数据数据输出(sink)一个简单的fink输出例子dataStre 阅读全文

摘要： 如果yum install -y netcat 失败，可以用下面方式离线安装 安装依赖 yum install glibc* 下载解压netcat 下载不下来去页面下载:https://sourceforge.NET/projects/netcat/files/netcat/0.7.1/netcat 阅读全文

摘要： Hbase结构图 hmaster负责给 regionserver分配region，region处理具体的数据存储和查找，zk是一个注册中心，hmaster通过zk 感知regionserver存活与否。客户端是通过zk取到hmater的位置，然后取到位于namespace下面的mate表里面的reg 阅读全文

摘要： 进入 hbase shell 命令行 ./hbase shell 查看帮助 #查看帮助,会列出 命令组 help #有哪些命令组,常见的CRUD命令在 ddl 和 dml下面 COMMAND GROUPS: Group name: general Group name: ddl Group name 阅读全文

摘要： hbase离线包安装 节点分配:实测一个节点2G内存勉强可以跑起来 ip 主机名 节点类型 192.168.1.200 vm200 hmaster 192.168.1.201 vm201 HRegionServer 192.168.1.202 vm202 HRegionServer 安装hbase之 阅读全文

摘要： zookeeper 单机版安装 在官网下载 apache-zookeeper-3.9.1-bin.tar.gz 解压 tar -zxvf apache-zookeeper-3.9.1-bin.tar.gz 备注 zk需要依赖环境变量中的JAVA_HOME,所以需要提前安装好 检查JAVA_HOME 阅读全文

摘要： 创建目录 hadoop fs –mkdir [-p] <path> 查看目录下的内容 hadoop fs –ls [-h] [-R] [<path>] -h 人性化显示文件大小 -R 递归查看指定目录及子目录 上传文件 hadoop fs –put [-f] [-p] <localsrc> <dst 阅读全文