摘要： 九、flink结构 十、WordCount简单实现 需求：实时的wordcount 往端口中发送数据，实时的计算数据 1、SocketWordCount类 2、flink的maven依赖 3、运行SocketWordCount类的main方法 4、服务器安装netcat 5、此时在服务器的nc下输入 阅读全文

摘要： 一、需求：统计网站访问量（实时统计） 1、PvCountSpout类 2、PvCountSplitBolt类 3、PvCountSumBolt类 4、PvCountDriver类 5、PvCountDriver_Shuffle类 6、weblog.log文件 7、运行（4）中的main方法，控制台显 阅读全文

摘要： 一、本地模式 1、WordCountSpout类 2、WordCountSplitBolt类 3、WordCountBolt类 4、WordCountDriver类 5、直接运行（4）里面的main方法即可启动本地模式。 二、集群模式 前三个类和上面本地模式一样，第4个类WordCountDrive 阅读全文

摘要： 一、Storm编程模型 二、Storm组件流程图 阅读全文

摘要： 一、Storm概述 网址：http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以轻松可靠地处理无限数据流，实现Hadoop对批处理所做的实时处理。Storm非常简单，可以与任何编程语言一起使用，并且使用起来很有趣！ Storm有许多用例：实时分析，在线机器学习，连续计算，分布式RPC，ETL等。风暴很快... 阅读全文

摘要： 1、数据清洗业务类LogProcessor 2、Application类 3、运行Application类的main方法 4、在hd09-1机器上创建主题t1 5、在hd09-2机器上启动消费者 6、在hd09-1机器上启动生产者 7、此时在hd09-1机器kafka生产者上输入 wo-henshu 阅读全文

摘要： 进入到XShell 文件 –> 属性 –> 终端 –> 键盘 在 DELETE键序列 和 BACKSPACE键序列 中都选择 ASCII 127 最后进入 Hbase 命令行测试，可以删除！ 在secureCRT中，点击【选项】【会话选项】【终端】【仿真】，右边的终端选择linux，在hbase s 阅读全文

摘要： 由于各种原因，xshell连接虚拟机的rhel或者CentOS都几乎是龟速...... 今天专门查了一下解决方案： 原来是ssh的服务端在连接时会自动检测dns环境是否一致导致的，修改为不检测即可，操作如下： 修改文件：/etc/ssh/sshd_config 修改大概129行的 为 UseDNS 阅读全文

摘要： 一、Kafka概述 二、kafka是什么？ 三、为什么要用消息队列 四、kafka架构设计 Kafka介绍 Kafka架构 五、kafka集群安装部署 六、Kafka命令行操作 七、Kafka简单API 1、Producer1类 kafka生产者API 接口回调 2、Producer2类 kafka 阅读全文

摘要： 1、预分区设计 附：splits.txt 2、rowkey设计 3、HBase优化 阅读全文