2019年8月1日

Flink消费Kafka数据并把实时计算的结果导入到Redis

摘要: 1. 完成的场景 在很多大数据场景下,要求数据形成数据流的形式进行计算和存储。上篇博客介绍了Flink消费Kafka数据实现Wordcount计算,这篇博客需要完成的是将实时计算的结果写到redis。当kafka从其他端获取数据立刻到Flink计算,Flink计算完后结果写到Redis,整个过程就像 阅读全文

posted @ 2019-08-01 20:34 ExplorerMan 阅读(929) 评论(0) 推荐(0)

Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版

摘要: 1. 了解各个组件的作用 Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据Logstash是 阅读全文

posted @ 2019-08-01 20:33 ExplorerMan 阅读(367) 评论(0) 推荐(0)

Flink+kafka实现Wordcount实时计算

摘要: 1. Flink Flink介绍: Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言,其所要处理的主要场景就是流数据,批数据只是流数据的一个极限特例而已。再换句话说,Flink 会把所有任务当成流来处理, 阅读全文

posted @ 2019-08-01 20:33 ExplorerMan 阅读(372) 评论(0) 推荐(0)

API设计风格(RRC、REST、GraphQL、服务端驱动)

摘要: 阅读目录 一、创建资源使用PUT还是POST 二、异常处理的HTTP响应状态码 三、返回数据是否需要包装 四、URI的设计层级是否超过两层 五、参考资料 阅读目录 一、创建资源使用PUT还是POST 二、异常处理的HTTP响应状态码 三、返回数据是否需要包装 四、URI的设计层级是否超过两层 五、参 阅读全文

posted @ 2019-08-01 19:44 ExplorerMan 阅读(287) 评论(0) 推荐(0)

微服务架构

摘要: 阅读目录 一、Dubbo 二、Tars 三、gRPC 四、Motan 五、Spring Cloud 阅读目录 一、Dubbo 二、Tars 三、gRPC 四、Motan 五、Spring Cloud 阅读目录 微服务架构到底应该如何选择? 阅读目录 微服务架构到底应该如何选择? 回到目录 微服务架构 阅读全文

posted @ 2019-08-01 19:42 ExplorerMan 阅读(236) 评论(0) 推荐(0)

python自定义logger handler

摘要: _filefmt=os.path.join("logs","%Y-%m-%d.log") class MyLoggerHandler(logging.Handler): def __init__(self,filefmt=None): self.filefmt=filefmt if filefmt 阅读全文

posted @ 2019-08-01 17:54 ExplorerMan 阅读(494) 评论(0) 推荐(0)

导航