Boblim

摘要： 问题抛出：像窗口大小为1小时，滑动步长为1分钟的滑动窗口，我理解最大并行的窗口数是60（比如第一个是0点开始的，那么在59分的时候就有60个），那么每个窗口的大小是一样的么，他们所占内存的大小跟自己窗口有关，还是底层数据之间其实是共享的呢。举例，如果我们1小时内，因为每分钟去消息队列读，所以其实有6 阅读全文

摘要： 一、背景 最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到kafka的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以手动提交的方式消费kafka，并将数据依次写入到hive表 阅读全文