会飞的猪仔

摘要： spark streaming可以从任何数据源来接收数据，哪怕是除了它内置支持的数据源以外的其他数据源（比如flume、kafka、socket等）。如果我们想要从spark streaming没有内置支持的数据源中接收实时数据，那么我们需要自己实现一个receiver。实现一个自定义的receiv 阅读全文

摘要： Spark Streaming是个准实时、微批量的流式处理架构，数据是向水流一样一直不断流过来，那么我们该怎么配置数据的接收速率？ Spark1.5以前的版本，用户若需要限制Receiver的数据接收速率，可以通过设置静态配置参数“spark.streaming.receiver.maxRate”的 阅读全文