摘要： 在定义了窗口分配器之后,我们需要为每一个窗口明确的指定计算逻辑,这个就是窗口函数要做的事情, 当系统决定一个窗口已经准备好执行之后，这个窗口函数将被用来处理窗口中的每一个元素(可能是 分组的)。 谁可以作为窗口函数来使用： 特别提示：在没有专门说明的情况下，凡是带All的API就是给Non-keye 阅读全文

摘要： 阅读全文

摘要： flink支持的数据类型Flink对DataSet和DataStream中可使用的类型加了一些约束。原因是系统可以通过分析这些类型来确定有效的执行策略和选择不同的序列化方式。有7种不同的数据类型:1.java Tuple 和 Scala Case类：2.java POJO（指那些没有从任何类集成,也 阅读全文

摘要： mysql解压版安装过程,之前安装mysql一直用linux yum和rpm方式。今天试了下tar包方式有点麻烦记录下1.安装lrzsz-0.12.20-27.1.el6.x86_64.rpm方便操作，用ftp工具上传2.rz传输文件mysql-5.6.46-linux-glibc2.12-x86_ 阅读全文

摘要： 通过手动安装CDH没权限 [root@slave1 ~]# groupadd supergroup[root@slave1 ~]# hadoop fs -mkdir /tao3^C[root@slave1 ~]# usermod -a -G supergroup root[root@slave1 ~ 阅读全文

摘要： spark1（默认CDH自带版本）不存在这个问题，主要是升级了spark2（CDHparcel升级）版本安装后需要依赖到spark1的旧配置去读取hadoop集群的依赖包。 1./etc/spark2/conf目录需要指向/hadoop1/cloudera-manager/parcel-repo/S 阅读全文

摘要： 1.下载cm对应redhat7的版本。2.修改/opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini成为中心机器hostname/ip(master)4.启动/opt/cloudera/cm-5.10.0/etc/init.d/cloude 阅读全文

摘要： 报错信息:MainThread agent ERROR Heartbeating to localhost:7182 failed.解决:配置CM Agentcm的安装包的server和agent都是同一个包，启动的时候启动命令指定为server还是agent；cm有一个工作目录，需要我们来创建；创 阅读全文

摘要： 今天手里其中一个集群几个机器突然宕机，启动hdfs一直超时。 clouder-scm-agent主要报了这个错RROR: Unexpected error 'getpwuid(): uid not found: 1001' 看了挺久发现这个机器可能权限可能有问题，修改了cloudera-scm和其他 阅读全文

摘要： com.cloudera.cmf.db.type=mysqlcom.cloudera.cmf.db.host=localhost:3306com.cloudera.cmf.db.name=cmfcom.cloudera.cmf.db.user=rootcom.cloudera.cmf.db.pass 阅读全文