IT备忘录

摘要： 學而第一 1.1 子曰：學而時習之，不亦說乎。馬曰：子者，男子之通稱，謂孔子也。王曰：時者，學者以時誦習之。誦習以時，學無廢業，所以為説懌。有朋自遠方來，不亦樂乎。包曰：同門曰朋。人不知而不慍，不亦君子乎。慍，怒也。凡人有所不知，君子不怒。 1.2 有子曰：孔子弟子有若。其為人也孝弟，而好犯上者，鮮 阅读全文

摘要： 曾子曰：馬曰：弟子曾參。吾日三省吾身，為人謀而不忠乎，與朋友交而不信乎，傳不習乎。言凡所傳之事，得無素不講習而傳之。 【疏】曾子曰至習乎。○正義曰：此章論曾子省身慎行之事。弟子曾參嘗曰：吾每日三自省察己身，為人謀事而得無不盡忠心乎，與朋友結交而得無不誠信乎，凡所傳授之事，得無素不講習而妄傳乎。以謀貴 阅读全文

摘要： 1 partitionBy：对pairRDD进行分区操作，如果原有的partionRDD和现有的partionRDD是一致的话就不进行分区， 否则会生成ShuffleRDD，即会产生shuffle过程。 val conf = new SparkConf().setMaster("local[*]") 阅读全文

摘要： 所谓双Value，就是两个数据集RDD之间进行操作。 1 union(otherDataset)：对源RDD和参数RDD合并后返回一个新的RDD，不会去重 val listRDD1: RDD[Int] = sc.makeRDD(1 to 5) val listRDD2: RDD[Int] = sc. 阅读全文

摘要： RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD的创建 1.从集合中创建 从集合中创建RDD，Spark主要提供了两种函数：parallelize和 阅读全文

摘要： 在Yarn上部署Spark程序，前提是启动HDFS和YARN，需要有相关环境。 Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。yarn-client：Driver程序运行在客户端， 阅读全文

摘要： 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。简单来说，有状态的计算不仅处理当前的数据，还要和以前接收到的数据进行比较、聚合等操作。所以需 阅读全文

摘要： 大部分的 DataStream API 的算子的输出是单一输出，也就是某种数据类型的流。除了 split 算子，可以将一条流分成多条流，这些流的数据类型也都相同。processfunction 的 side outputs 功能可以产生多条流，并且这些流的数据类型可以不一样。一个 sideoutpu 阅读全文

摘要： 作用：可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function 用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window 函数和转换算子无法实现)。例如，Flink SQL 就是使用 Process Functio 阅读全文

摘要： 配置flume，编写kafka.conf文件。从端口44444采集数据，发送到kafka的first主题。 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/co 阅读全文