摘要：1、使用c3p0 这个主要是因为c3p0实现了序列化，这样就可以直接传输到Worker上 ComboPooledDataSource 这个类主要是用来做生成数据库连接实例的，让它传到Worker上就可以直接使用了 2、业务代码 获取datasource 注意这里的InitialPoolSize不能太 阅读全文

摘要：我们自己编写了spark代码后;放到集群中一执行，就会出现问题，没有序列化、指定的配置文件不存在、classnotfound等等。这其实很多时候就是因为我们对自己编写的spark代码执行流程的不熟悉导致的，源码阅读可以解决，但源码不是每个人都能看懂或能看进去的，下面我们就来讲一下，我们自己写的spa 阅读全文

摘要：一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，Roc 阅读全文

摘要：CDH-5.7.1离线安装 参考自：http://blog.csdn.net/jdplus/article/details/45920733 1、文件下载 CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由 阅读全文