摘要：
介绍Apache Impala Impala直接对存储在HDFS、HBase或亚马逊简单存储服务（S3）中的Apache Hadoop数据提供快速、交互式的SQL查询。除了使用相同的统一存储平台，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序 阅读全文
posted @ 2021-02-05 11:25
田野与天
阅读(404)
评论(0)
推荐(0)
摘要：
很多人对kafka消息队列应该不陌生，使用起来也比较方便。对kafka最常见的操作一般有如下几种： 启动kafka集群 创建一个名称为xxx的主题（topic） 查看已经创建好的主题 向xxx这个主题中插入一些数据 从xxx这个主题中消费一些数据 针对这几种操作，其实kafka都为大家提供了一系列方 阅读全文
posted @ 2021-02-03 22:45
田野与天
阅读(1196)
评论(0)
推荐(1)
摘要：
Kafka中有broker、主题、分区、副本等概念，底层有日志和日志分片。 我们先简单介绍一下这些概念，做个类比。 broker可以简单理解为一台物理机，其实一台机器上可以有多个broker进程，但是为防止单机故障导致多个broker崩溃的情况出现，一般一台机器上只运行一个broker进程。所以把b 阅读全文
posted @ 2021-01-22 11:58
田野与天
阅读(118)
评论(0)
推荐(0)
摘要：
首先如果我开始做一个消息队列，最开始的时候可能就是一台单机上的一个单一的log日志，不断地向这个日志中追加消息即可。 后来，可能由于一个log日志支撑不了太多的读写请求，于是就对这个log日志进行了拆分。于是就出现了一个topic有多个log日志的情况。 一条消息来了，可以保存到任意的log文件中， 阅读全文
posted @ 2021-01-14 10:49
田野与天
阅读(328)
评论(0)
推荐(0)
摘要：
用户自定义函数 大多数操作都需要用户定义的函数。本节列出了如何指定这些函数的不同方法。我们还涵盖了累加器，它可以用来深入了解您的Flink应用。 Lambda函数 在前面的例子中已经看到，所有的操作都接受lambda函数来描述操作。 val data: DataSet[String] = // [. 阅读全文
posted @ 2021-01-03 19:15
田野与天
阅读(173)
评论(0)
推荐(0)
摘要：
管理状态的自定义序列化 本页面的目标是为需要使用自定义状态序列化的用户提供指导，涵盖了如何提供自定义状态序列化器，以及实现允许状态模式演化的序列化器的指南和最佳实践。 如果你只是简单地使用Flink自己的序列化器，这个页面是不相关的，可以忽略。 使用自定义状态序列器 当注册一个托管操作符或键控状态时 阅读全文
posted @ 2021-01-03 19:00
田野与天
阅读(199)
评论(0)
推荐(0)
摘要：
状态方案的演变 Apache Flink流媒体应用通常被设计为无限期或长时间运行。与所有长期运行的服务一样，应用程序需要更新以适应不断变化的需求。这对于应用程序所针对的数据模式也是一样的，它们会随着应用程序的发展而发展。 本页提供了关于如何演进状态类型的数据模式的概述。当前的限制在不同的类型和状态结 阅读全文
posted @ 2021-01-03 18:51
田野与天
阅读(251)
评论(0)
推荐(0)
摘要：
状态后台 Flink提供了不同的状态后端，指定状态的存储方式和位置。 状态可以位于Java的堆上或离堆。根据你的状态后端，Flink还可以为应用程序管理状态，这意味着Flink处理内存管理（必要时可能会溢出到磁盘），以允许应用程序持有非常大的状态。默认情况下，配置文件flink-conf.yaml决 阅读全文
posted @ 2021-01-03 18:16
田野与天
阅读(105)
评论(0)
推荐(0)
摘要：
可查询的状态 注意：可查询状态的客户端API目前处于不断发展的状态，对所提供接口的稳定性不做保证。在即将到来的Flink版本中，客户端的API很可能会有突破性的变化。 简而言之，该功能将Flink的托管键值（分区）状态（参见Working with State）暴露给外界，并允许用户从Flink外部 阅读全文
posted @ 2021-01-03 18:08
田野与天
阅读(166)
评论(0)
推荐(0)
摘要：
检查点 Flink中的每一个函数和操作符都可以是有状态的（详情请看使用状态）。有状态的函数在单个元素/事件的处理过程中存储数据，使得状态成为任何类型的更复杂操作的关键构建模块。 为了使状态具有容错性，Flink需要对状态进行检查点。检查点允许Flink恢复流中的状态和位置，使应用程序具有与无故障执行 阅读全文
posted @ 2021-01-03 17:40
田野与天
阅读(289)
评论(0)
推荐(0)
浙公网安备 33010602011771号