落霞与孤鹜齐飞

摘要： 恢复内容开始 Caused by: java.io.IOException: Added a key not lexically larger than previous. Current cell = 2c90807b73996dff0173b758788600a5,104/CF:dimensio 阅读全文

摘要： spark通過idea远程提交job到yarn: Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to fiel 阅读全文

摘要： Hdp版本: <repositories> <repository> <id>nexus</id> <name>local private nexus</name> <url> https://repo.hortonworks.com/content/repositories/releases/</ 阅读全文

摘要： mvn dependency:copy-dependencies -DoutputDirectory=lib 阅读全文

摘要： 解决方法: 找到1.19版本放到spark的jars目录下 阅读全文

摘要： 1.原先使用版本：apache-kylin-2.5.1-bin-hbase1x 原生版本 启动报错出现异常： Failed to find metadata store by url: kylin_metadata@hbase Caused by: java.lang.NoSuchMethodErr 阅读全文

摘要： 1.为什么要做拉链表 拉链表适用于同步新增和变化的数据！对于周期型事实表，采用同步新增和变化的方式！ 使用场景： 1）比如订单状态： 三天内该订单状态发生了变化，但是同一个事物内进行的 2）人的出行轨迹 2.拉链表在hive中使用 以同步order_info为例以下为Mysql中数据的记录形式202 阅读全文

摘要： 恢复内容开始 一、各个层作用 ODS：直接加载的是采集到的原始数据，数据保存原貌不做处理，就一个字段（一行就是一个日志字符串），使用天作为分区表，一般为json数据 DWD:对ods的数据进行展开 例如：如果采集的日志分类型的，可以根据事件的类型分为多个表 电商的比如：点赞、启动、评论、点击、广告、 阅读全文

摘要： 一、第一层采集通道的编写 1.第一层采集脚本Source的选择①Source: 数据源在日志文件中! 读取日志中的数据，可以使用以下Source ExecSource: 可以执行一个linux命令，例如tail -f 日志文件， 讲读取的到的数据封装为Event！ 不用！不安全，可能丢数据！ Spo 阅读全文

摘要： 阻塞队列 **==ArrayBlockingQueue==**是一个基于数组结构的有界阻塞队列，此队列按FIFO原则对元素进行排序 **==LinkedBlockingQueue==**是一个基于链表结构的阻塞队列，此队列按FIFO排序元素，吞吐量通常要高于ArrayBlockingQueue ** 阅读全文