摘要： 1、logstash是什么Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据，并且标准化数据输送到你选择的目的地。它是一款日志而不仅限于日志的搜集处理框架，将分散多样的数据搜集自定义处理并输出到指定位置。 2、logstash 原理logstash 原理非常简单 阅读全文

摘要： 装饰器模式：允许向一个现有的对象添加新的功能，同时又不改变其结构。在python中，装饰器可以是一个函数或者一个类。 在解释装饰器模式时，先理解下python中@符号的含义： 1、@符号是python中的一种修饰符，用来修饰函数，修饰符必须出现在函数定义的前一行，不允许和函数定义在同一行。 2、一个 阅读全文

摘要： 最近遇到一个算法题，输入数字N，求N的全排列： 思路：很容易想到采用递归的思想，即N个数，只要前面N-1个数字已经生成的全排列，只用将N插入到这些排列中，生成新的排列顺序。 代码如下： 运行结果： 阅读全文

摘要： 在spark JOB中消费kafka队列数据时，通过zookeeper记录了kafka的偏移量，有时数据量较大，JOB处理不过来，这事需要kafka修改偏移量offset，如： 开始尝试调用kafka内置的类kafka.tools.UpdateOffsetsInZK，修改offset，如下： [bs 阅读全文

摘要： collect_set：对返回的元素集合进行去重返回新的列表，实现列转行。 0: jdbc:hive2://10.67.1.207:10000> select collect_set(cast(ns_hour as string)) as ns_hour from tam_enhance_alarm 阅读全文

摘要： 问题描述 给定n个正整数，找出它们中出现次数最多的数。如果这样的数有多个，请输出其中最小的一个。 输入格式 输入的第一行只有一个正整数n(1 ≤ n ≤ 1000)，表示数字的个数。 输入的第二行有n个整数s1, s2, …, sn (1 ≤ si ≤ 10000, 1 ≤ i ≤ n)。相邻的数用 阅读全文

摘要： 1. 稠密索引 定义：它是由键值和指针(指向记录本身地址)组成的一系列存储块，该存储块的键值与文件的逻辑顺序一致。 特性：每个存储块的每一个键对应的指针都指向每个数据块每一条记录，当要查找指定键K时，采用二分查找即可找到键K对应的记录，复杂度为log2n。 2. 稀疏索引 定义：它是由键值和指针(指 阅读全文

摘要： kafka 均匀发数据函数： 阅读全文

摘要： 项目中有个模块是定时获取设备状态的，通过设备的http请求访问获取返回的状态码，然后根据状态码检测设备是否在线。但是最近发现连接后出现了偶尔连接不上的情况，报错如下： 最初怀疑是网络原因，写了个定时脚本，看能否稳定复现这个问题： 运行了1个小时之后，异常状态出现了，request请求报了Max re 阅读全文

摘要： 产品实验局环境同事发现分布图与实际业务对不上，因为页面展示流量较大的RTSP，客户并没有相关APP业务。起初以为是前端业务逻辑出问题了： 查看前端数据库查询代码，逻辑十分简单，从数据库中获取app字段的值，然后对应app字典，前端展示： 部分字典示例： 前端没问题，肯定是数据逻辑统计有问题，查看hi 阅读全文