|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V27|——|Kylin.v27|Kylin构建Cube|实时OLAP.V3|

一、定义数据源

### --- 定义数据源

~~~     # 1、创建数据源
~~~     # 2、填写kafka集群信息
~~~     # 3、通过kylin加载的json字段：创建流表维表格式
~~~     # 4、查看加载的流式实时数据源

---

二、创建Model

### --- 设计Model

~~~     # 当前，流cube不支持与lookup tables连接，
~~~     # 定义数据模型时，仅选择fact table，不提供lookup table
~~~     # 2、Data Model
~~~     # 3、Dimensions
~~~     # 4、Measures
~~~     # 5、Settings：# 流cube必须分区，选择timestamp列作为分区列——Save

---

三、定义cube

### --- 定义cube

~~~     # 1、Cube info
~~~     # 2、Dimensions
~~~     # 3、Measures
~~~     # 4、Refresh Setting
~~~     # 5、Advanced Setting
~~~     # 6、Configuration Overwrites
~~~     # 7、Overview——>Save

---

四、Enable

### --- Enable

~~~     # 1、没有build控制接口，只能使用Enable保存；若是定义的有问题，在构建就会报错
~~~     # 2、查看cube：streamingcube1是否构建完成

---

五、流Cube与普通cube几乎相同。需要注意以下几点：

### --- 流Cube与普通cube几乎相同。需要注意以下几点：

~~~     选择“ MapReduce”作为构建引擎，现在不支持Spark
~~~     kylin.stream.cube.window 将决定如何将事件event划分到不同的segment，
~~~     它是每个segment的持续时间，以秒为单位的值，默认值为3600
~~~     kylin.stream.cube.duration 确定segment等待迟到事件event的时间
~~~     kylin.stream.segment.retention.policy 当Segment状态变为IMMUTABLE，
~~~     该配置指定了Receiver如何处理本地Segment Cache。可选值包含purge和fullBuild
~~~     设置为purge后，Receiver会等待一定时间后删除本地数据
~~~     设置为fullBuild后，数据会上传到HDFS并等待构建。默认值是fullBuild

---

六、开启kafka进行数据消费

### --- 开启kafka进行数据消费

~~~     创建replica set

### --- 使用kylin.sh工具模拟消费数据
### --- 查看cube处理流数据记录

~~~     # 使用工具，每秒会向以上topic每秒发送100条记录
[root@hadoop02 ~]# kylin.sh org.apache.kylin.source.kafka.util.KafkaSampleProducer \
--topic kylin_streaming_topic1 --broker hadoop01:9092,hadoop02:9092

 

### --- 中间的粗体和较大数字表示最近一分钟的读取速率。下面的grep和较小的数字表示（从左到右）：

~~~     最近十五分钟的摄取率
~~~     自接收程序开始以来的平均摄取率
~~~     receiver消耗的事件数
~~~     receiver摄取的事件数量

---

七、查看receiver监控状态

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---