技术虫

摘要： 现场数据库报警，CPU一直居高不下，后来抓取数据库慢sql，发现主要有两种，1是大量的插入操作；2是触发器里的查询操作。 分析原因： 一般大量插入操作不会导致CPU居高不下，而触发器是相同表的插入之前触发，查询另外一张维表进行字段增强，所以导致插入超时；同时插入的表数据量很大（近7天，8个G的数据量 阅读全文

摘要： 第三方调用(认证方式时效限制5分钟)该 postman 调用 url 为样例 url请求头: AuthorizationBasicMTIzOmRjOTg0ZDY4NzJjNWZkYWFkZDllZDg4ZGE5ZmU5ZDYwZDc40TkxMzA0NWFmNjhkMjNiMzE4NzUzZTRhY 阅读全文

摘要： 现场Namenode和JournalNode挂掉，影响整个hadoop集群稳定，写个健康检查的脚本，将节点拉起，任务重启。 #!/bin/bash # Hadoop进程健康检查脚本# 用法：通过cron定时调用此脚本进行检查 LOG_FILE="/tmp/hadoop-monitor.log" # 阅读全文

摘要： 1. 某天现场发现问题，数据库服务器CPU一直居高不下，后来和研发一起按照如下步骤排查问题。 2. 收集现场任务日志。从任务日志中，发现 日志中： 解决办法： 在数据库连接串的url中 增加sockettimeout=30000解决 3. CPU还是居高不下，后来在对应数据库的客户端，执行一下sql 阅读全文

摘要： 1、不充分的SQL参数验证（代码注入） 详细描述：攻击者可以在输入中注入恶意代码，没有对用户输入进行充分的验证，导致恶意输入可以绕过安全机制，从而执行未经授权的操作 举例说明： SELECT * FROM users WHERE username = '输入的用户名' AND password = 阅读全文

摘要： 1. 搭建好hive环境，并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav 阅读全文

摘要： 1.问题复现 数据库新建一个test表，里面包含id，和name字段 然后分别开两个窗口，分别开启事务，然后update name字段，不提交， 然后查看一下三个表，看是否出现锁表情况 innodb_trx ## 当前运行的所有事务innodb_locks ## 当前出现的锁innodb_lock_ 阅读全文

摘要： 什么是FLink watermark? Flink watermark是一种用于时间和事件处理的机制，它为事件流中的每个事件都分配了一个时间戳，以便将其与其他事件进行排序和分组。Watermark还为每个事件流提供了一个智能定界框架，使Flink能够有效地控制事件流的处理方式。Watermark可以 阅读全文

摘要： 什么是 Stream？ Stream（流）是一个来自数据源的元素队列并支持聚合操作 <strong元素队列< strong="">元素是特定类型的对象，形成一个队列。 Java中的Stream并不会存储元素，而是按需计算。 数据源 流的来源。 可以是集合，数组，I/O channel， 产生器gen 阅读全文

摘要： 前些天参加了阿里巴巴信息平台事业部的面试，将自己以及和别人交流的到的面试题做一个总结，方便以后查阅： 1. hash碰撞冲突是什么？如何解决碰撞问题！ 原因： 在我们对对象进行hash运算时，会调用hashcode()方法，他会返回一个hash值，当两个对象 计算值一样时，这就发生了碰撞冲突。 解决 阅读全文