摘要: 数据工厂UI中,点击“创建者和监视”,进入数据工厂ETL流的界面: create data flow,建立数据流映射,相当于ETL的逻辑映射,选择数据源,建立字段映射关系,查看元数据。 阅读全文
posted @ 2020-03-05 10:54 宇飞-天空 阅读(553) 评论(0) 推荐(0)
摘要: 先上一个架构图: Flink App : 通过report 将数据发出去 Pushgateway : Prometheus 生态中一个重要工具 Prometheus : 一套开源的系统监控报警框架 (Prometheus 入门与实践) Grafana: 一个跨平台的开源的度量分析和可视化工具,可以通 阅读全文
posted @ 2020-03-04 18:11 宇飞-天空 阅读(1229) 评论(0) 推荐(0)
摘要: 一、编写第一个REST接口: /** * Spring Boot HelloWorld案例 * * Created by bysocket on 16/4/26. */@RestControllerpublic class HelloWorldController { @Autowired Envi 阅读全文
posted @ 2020-03-04 14:01 宇飞-天空 阅读(237) 评论(0) 推荐(0)
摘要: 为什么不直接从源系统写入到Hadoop集群呢?这是因为原系统有成千上万的机器,实时写入到HDFS时,namenode会产生很多小文件,对hadoop压力会非常大。所以引入了中间系统--Flume。Flume真正做的是实时推送事件,数据流是持续且量级很大的情况。 Flume把数据理解成一条条事件。 每 阅读全文
posted @ 2020-03-02 16:47 宇飞-天空 阅读(338) 评论(0) 推荐(0)
摘要: 领域对象的过程:创建、更新、消亡。 我们可以把这个过程定义一个接口来处理这个过程。 阅读全文
posted @ 2011-05-16 11:53 宇飞-天空 阅读(195) 评论(0) 推荐(0)
摘要: 现在三层架构流行。 这个架构的实质就是封装变化、隔离变化的一个思想的应用而已。所以要对层要有很深的理解才能很好的去开发三层架构的程序。 语句-->方法-->函数-->对象,发展到现在的层,也就是层不是凭空产生的,而是经过软件开发到一定的时间才出现的。 层也是符合面向对象思想的,封装业务或通用功能,把一个业务功能或是通用功能封装起来。 阅读全文
posted @ 2010-07-21 17:08 宇飞-天空 阅读(235) 评论(0) 推荐(0)