随笔分类 -  大数据

Flink编程入门（二）
摘要：Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 1.1. Local模式 对于 Local 模式来说，JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。如果要验证一个简单的应用，Loc 阅读全文
posted @ 2018-12-29 11:39 绵羊大神 阅读(1166) 评论(0) 推荐(0)
Flink编程入门（一）
摘要：1. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 阅读全文
posted @ 2018-12-29 11:33 绵羊大神 阅读(1563) 评论(0) 推荐(0)
解决maven 下载 hadoop-client 客户端 报错的问题
摘要：第一、pom.xml配置： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> </dependency> <dependenc 阅读全文
posted @ 2017-02-11 20:11 绵羊大神 阅读(4024) 评论(0) 推荐(0)
Netty是什么？
摘要：Netty是什么？ 1）本质：JBoss做的一个Jar包 2）目的：快速开发高性能、高可靠性的网络服务器和客户端程序 3）优点：提供异步的、事件驱动的网络应用程序框架和工具 通俗的说：一个好使的处理Socket的东东 如果没有Netty？ 远古：java.net + java.io 近代：java. 阅读全文
posted @ 2017-01-22 11:33 绵羊大神 阅读(1550) 评论(1) 推荐(0)
RabbitMQ
摘要：RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。 消息中间件在互联网公司的使用中越来越多，刚才还看到新闻阿里将RocketMQ捐献给了apache，当然了今天的主角还是讲RabbitMQ。 消息中间件最主要的作用是解耦，中间件最标准的用法是 阅读全文
posted @ 2016-12-01 11:03 绵羊大神 阅读(8511) 评论(1) 推荐(3)