摘要：
shutdown() 第一种方法叫作 shutdown()，它可以安全地关闭一个线程池，调用 shutdown() 方法之后线程池并不是立刻就被关闭，因为这时线程池中可能还有很多任务正在被执行，或是任务队列中有大量正在等待被执行的任务，调用 shutdown() 方法后线程池会在执行完正在执行的任务 阅读全文
posted @ 2025-03-19 22:34
钱塘江畔
阅读(20)
评论(0)
推荐(0)
摘要：
你可能经常在面试中被问到这两个问题，如果想要很好地回答它们首先你需要了解，我们调整线程池中的线程数量的最主要的目的是为了充分并合理地使用 CPU 和内存等资源，从而最大限度地提高程序的性能。在实际工作中，我们需要根据任务类型的不同选择对应的策略。 CPU 密集型任务 首先，我们来看 CPU 密集型任 阅读全文
posted @ 2025-03-19 22:34
钱塘江畔
阅读(59)
评论(0)
推荐(0)
摘要：
kedBlockingQueue 对于 FixedThreadPool 和 SingleThreadExector 而言，它们使用的阻塞队列是容量为 Integer.MAX_VALUE 的 LinkedBlockingQueue，可以认为是无界队列。由于 FixedThreadPool 线程池的线程 阅读全文
posted @ 2025-03-19 22:33
钱塘江畔
阅读(22)
评论(0)
推荐(0)
摘要：
除了ForkJoinPool()，都使用了Executors.defaultThreadFactory()，本质还是new Thread()来创建线程。 都是juc.Executors中，new ThreadPoolExecutor() ; int corePoolSize = 5; int max 阅读全文
posted @ 2025-03-19 22:33
钱塘江畔
阅读(18)
评论(0)
推荐(0)
摘要：
AbortPolicy 当线程池饱和时，直接抛出异常 DiscardPolicy 当线程池饱和时，新任务直接被丢弃掉，没有任何通知 DiscardOldestPolicy 当线程池饱和时，丢弃队列中的头结点，通常是存活时间最长的任务 CallerRunsPolicy 当线程池饱和时，谁提交任务就由谁 阅读全文
posted @ 2025-03-19 22:32
钱塘江畔
阅读(18)
评论(0)
推荐(0)
摘要：
** 参数名 ** ** 含义 ** corePoolSize 核心线程数，常驻线程数量 maxPoolSize 最大线程数 keepAliveTime+时间单位 空闲线程的存活时间 ThreadFactory 线程工厂、用来创建新线程 workQueue 用于存放任务的队列 Handler 处理被 阅读全文
posted @ 2025-03-19 22:32
钱塘江畔
阅读(42)
评论(0)
推荐(0)
摘要：
每个任务创建一个线程有什么问题？ 线程的创建和销毁对系统开销（时间、内存）太大，任务越多，开销越大 过多的线程导致更多的上下文切换，影响系统的稳定性。 线程池如何解决上述问题？ 线程池创建一些线程，一直处于工作状态 根据需要创建线程，限制线程的数量 使用线程池的好处 第一点，线程池可以解决线程生命周 阅读全文
posted @ 2025-03-19 22:31
钱塘江畔
阅读(21)
评论(0)
推荐(0)
摘要：
实现线程只有一种方法，就是new Thread() 实现 Runnable 接口比继承 Thread 类实现线程好 首先，我们从代码的架构考虑，实际上，Runnable 里只有一个 run() 方法，它定义了需要执行的内容，在这种情况下，实现了 Runnable 与 Thread 类的解耦，Thre 阅读全文
posted @ 2025-03-19 22:30
钱塘江畔
阅读(31)
评论(0)
推荐(0)
摘要：
mysql库下 权限表：user表，db表和table_priv user表：用户 + IP 能否连接数据库 db表：哪些用户对哪些数据库有哪些权限 tables_priv表：用户对哪些表有哪些权限 示例: 给用户hehe操作test库的goods表的insert，select，update的权限 阅读全文
posted @ 2025-03-19 22:30
钱塘江畔
阅读(13)
评论(0)
推荐(0)
摘要：
select id,name where name='shenjian' select id,name__,sex_* where name='shenjian' 多查询了一个属性，为何检索过程完全不同？ 什么是回表查询？ 什么是索引覆盖？ 如何实现索引覆盖？ 哪些场景，可以利用索引覆盖来优化SQL 阅读全文
posted @ 2025-03-19 22:26
钱塘江畔
阅读(28)
评论(0)
推荐(0)
摘要：
InnoDB 行级锁是通过给索引上的索引项加锁来实现的，InnoDB行级锁只有通过索引条件检索数据，才使用行级锁;否则，InnoDB使用表锁; 在不通过索引(主 键)条件查询的时候，InnoDB是表锁而不是行锁。 总结:就是在没有使用索引的情况下InnoDB就会使用表级锁(共享锁不会有这个情况) 事 阅读全文
posted @ 2025-03-19 22:24
钱塘江畔
阅读(25)
评论(0)
推荐(0)
摘要：
tcpdump 是一个运行在命令行下的抓包工具。它允许用户拦截和显示发送或收到过网络连接到该计算机的TCP/IP和其他数据包。tcpdump 适用于大多数的类Unix系统操作系统(如linux,BSD等)。类Unix系统的 tcpdump 需要使用libpcap这个捕捉数据的库就像 windows下 阅读全文
posted @ 2025-03-19 22:23
钱塘江畔
阅读(118)
评论(0)
推荐(0)
摘要：
drop table tmp_mytest ; create table tmp_mytest ( id int , type varchar(10) ) ; insert into tmp_mytest values(1, '1'); insert into tmp_mytest values(2 阅读全文
posted @ 2025-03-19 22:23
钱塘江畔
阅读(11)
评论(0)
推荐(0)
摘要：
这个方案的核心实现思路就是进行两阶段聚合。 第一次是局部聚合，先给每个key都打上一个随机数，比如10以内的随机数，此时原先一样的key就变成不一样的了，比如(hello, 1) (hello, 1) (hello, 1) (hello, 1)，就会变成(1_hello, 1) (1_hello, 阅读全文
posted @ 2025-03-19 22:21
钱塘江畔
阅读(36)
评论(0)
推荐(0)
摘要：
Object getClass() 获取getClass()返回的Class对象，看看都有哪些内容 Test test = new Test(); Class<? extends Test> aClass = test.getClass(); Method[] methods = aClass.ge 阅读全文
posted @ 2025-03-19 22:21
钱塘江畔
阅读(13)
评论(0)
推荐(0)
摘要：
总线（Bus）是计算机各种功能部件之间传送信息的公共通信干线，它是由导线组成的传输线束， 按照计算机所传输的信息种类，计算机的总线可以划分为数据总线、地址总线和控制总线，分别用来传输数据、数据地址和控制信号。总线是一种内部结构，它是cpu、内存、输入、输出设备传递信息的公用通道，主机的各个部件通过总 阅读全文
posted @ 2025-03-19 22:20
钱塘江畔
阅读(21)
评论(0)
推荐(0)
摘要：
python代码加密 https://zhuanlan.zhihu.com/p/54296517 阅读全文
posted @ 2025-03-19 22:19
钱塘江畔
阅读(9)
评论(0)
推荐(0)
摘要：
摘自https://www.cnblogs.com/dolphin0520/p/3920373.html 一、内存模型相关的一些知识 大家都知道，计算机在执行程序时，每条指令都是在CPU中执行的，而执行指令过程中，势必涉及到数据的读取和写入。由于程序运行过程中的临时数据是存放在主存（物理内存）当中的 阅读全文
posted @ 2025-03-19 22:19
钱塘江畔
阅读(20)
评论(0)
推荐(0)
摘要：
由上图可以看出：KafkaProducer有两个基本线程： 主线程： 负责消息创建，拦截器，序列化器，分区器等操作，并将消息追加到消息收集器 RecoderAccumulator中； 消息收集器RecoderAccumulator为每个分区都维护了一个Deque<ProducerBatch> 类型的 阅读全文
posted @ 2025-03-19 22:18
钱塘江畔
阅读(29)
评论(0)
推荐(0)
摘要：
# Connection to node -1 could not be established. Broker may not be available > server.properties 配置文件中 > listeners=PLAINTEXT://192.168.80.101:9092 # 阅读全文
posted @ 2025-03-19 22:17
钱塘江畔
阅读(16)
评论(0)
推荐(0)
摘要：
# 获取最大值 arr=[1,2,3, -1] max=max(arr) print(max) # 获取最大值的索引 idx=arr.index(max) # 删除最大值 arr.remove(max) print(arr) 阅读全文
posted @ 2025-03-19 22:16
钱塘江畔
阅读(11)
评论(0)
推荐(0)
摘要：
**1.** **数字类型** Python数字类型主要包括int（整型）、long（长整型）和float（浮点型），但是在Python3中就不再有long类型了。 **int****（整型）** 在32位机器上，整数的位数是32位，取值范围是-231~231-1，即-2147483648~2147 阅读全文
posted @ 2025-03-19 22:15
钱塘江畔
阅读(29)
评论(0)
推荐(0)
摘要：
读取后缀为 xls成功，后缀xlsx读取失败 import xlrd import xlwt from datetime import date,datetime def read_excel(): # 打开文件 workbook = xlrd.open_workbook(r'F:\demo.xls 阅读全文
posted @ 2025-03-19 22:15
钱塘江畔
阅读(17)
评论(0)
推荐(0)
摘要：
整体架构图 多个Producer可同时向同一主题发送消息 多个Producer可同时向同一主题同一分区发送消息 一个分区只会被一个消费组消费一次 精确一次Kafka Exactly Once 语义实现原理：幂等性与事务消息-CSDN博客 阅读全文
posted @ 2025-03-19 22:14
钱塘江畔
阅读(15)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/qq_28900249/article/details/90346599 阅读全文
posted @ 2025-03-19 22:12
钱塘江畔
阅读(13)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/smartloli/p/9501887.html 阅读全文
posted @ 2025-03-19 22:10
钱塘江畔
阅读(8)
评论(0)
推荐(0)
摘要：
<!--mysql驱动包--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependency> System.out 阅读全文
posted @ 2025-03-19 22:09
钱塘江畔
阅读(13)
评论(0)
推荐(0)
摘要：
# 路径 + 通配符* 只读一层子文件夹 val lines: RDD[String] = sc.textFile("file:///E:/tmp/data/*") # 直接路径 报错, 无法识别子文件夹 val lines: RDD[String] = sc.textFile("file:///E 阅读全文
posted @ 2025-03-19 22:08
钱塘江畔
阅读(21)
评论(0)
推荐(0)
摘要：
# python算法库sklearn 官网 https://scikit-learn.org/stable/modules/generated/sklearn.cluster.MeanShift.html#sklearn.cluster.MeanShift # 使用 # 结果 ## 获取聚类点，及每 阅读全文
posted @ 2025-03-19 22:07
钱塘江畔
阅读(34)
评论(0)
推荐(0)
摘要：
难点一：采用re.compile解析html 难点二：动态ua和动态ip反爬 # -*- coding:utf-8 -*- import random from time import sleep from bs4 import BeautifulSoup # 网页解析，获取数据 import re 阅读全文
posted @ 2025-03-19 22:05
钱塘江畔
阅读(20)
评论(0)
推荐(0)
摘要：
# -*- coding=utf-8 -*- from impala.dbapi import connect as impylaConnect master_host='192.168.1.17' master_port=10000 master_authMechanism='PLAIN' mas 阅读全文
posted @ 2025-03-19 22:04
钱塘江畔
阅读(10)
评论(0)
推荐(0)
摘要：
Python3中6个标准数据类型： Number String List Tuple Set Dictionary 不可变：Number、String、Tuple 可 变： List、Set、Dictionary 判断变量的数据类型 type = type(var_name) print(type) 阅读全文
posted @ 2025-03-19 22:03
钱塘江畔
阅读(26)
评论(0)
推荐(0)
摘要：
Hive外联表HBase 详细参见官网 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration # hive内部表 创建hive表映射hbase表, 前提是hbase表不存在 drop ttt则，hbase表也会drop c 阅读全文
posted @ 2025-03-19 22:02
钱塘江畔
阅读(24)
评论(0)
推荐(0)
摘要：
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum 阅读全文
posted @ 2025-03-19 21:59
钱塘江畔
阅读(38)
评论(0)
推荐(0)
摘要：
Traceback (most recent call last): File "pyhive.py", line 3, in <module> from pyhive import hive File "/data01/bonc_zj/test/hz/pyhive.py", line 3, in 阅读全文
posted @ 2025-03-19 21:58
钱塘江畔
阅读(25)
评论(0)
推荐(0)
摘要：
scala对象 object ScalaDemo { def add(a :Int, b :Int) :Int = a + b } java代码 public class Test { public static void main(String[] args) { int add = ScalaD 阅读全文
posted @ 2025-03-19 21:55
钱塘江畔
阅读(20)
评论(0)
推荐(0)
摘要：
代理模式 为其他对象提供一个代理以控制对某个对象的访问。代理类主要负责为委托了（真实对象）预处理消息、过滤消息、传递消息给委托类，代理类不现实具体服务，而是利用委托类来完成服务，并将执行结果封装处理。 其实就是代理类为被代理类预处理消息、过滤消息并在此之后将消息转发给被代理类，之后还能进行消息的后置 阅读全文
posted @ 2025-03-19 21:54
钱塘江畔
阅读(12)
评论(0)
推荐(0)
摘要：
聚类算法有很多种，Kmeans/mean-shift，DBSCAN聚类 K-means受噪声影响大，不够精确 mean-shift受半径影响大。 【Python机器学习】Mean Shift、Kmeans聚类算法在图像分割中实战（附源码和数据集） 阅读全文
posted @ 2025-03-19 21:53
钱塘江畔
阅读(9)
评论(0)
推荐(0)
摘要：
java调用python的几种用法（看这篇就够了） 阅读全文
posted @ 2025-03-19 21:49
钱塘江畔
阅读(10)
评论(0)
推荐(0)
摘要：
一般我们说微批，是指spark这种 一条stream里，如果有多个stateful之类的操作，需要一个batch一个batch 处理并造成 链越长，积累效果越厉害的 后果(假设平均链里的一个节点处理一个batch需要时间为x，链里有100个节点，那么latency至少是100x；而flink的 设计 阅读全文
posted @ 2025-03-19 21:48
钱塘江畔
阅读(12)
评论(0)
推荐(0)
摘要：
实时数据仓库的发展、架构和趋势 结合数据湖的实时数仓架构演进 阅读全文
posted @ 2025-03-19 21:45
钱塘江畔
阅读(21)
评论(0)
推荐(0)
摘要：
-- UDF注意: hive中的数组类型作为 入参，udf中应写 ArrayList 而不是 String[]，否则会报错 -- No matching method for class cn.com.dtmobile.hiveUdf.MyUDF with (array<string>). Poss 阅读全文
posted @ 2025-03-19 21:40
钱塘江畔
阅读(13)
评论(0)
推荐(0)
摘要：
Mysql漏洞修复方法思路及注意事项 阅读全文
posted @ 2025-03-19 21:29
钱塘江畔
阅读(30)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2025-03-19 21:28
钱塘江畔
阅读(10)
评论(0)
推荐(0)
摘要：
ctrl + shift + ↓ 选中目标列 ctrl + G 定位空格 输入框中' = A1 ' ctrl + enter 即可 阅读全文
posted @ 2025-03-19 21:25
钱塘江畔
阅读(34)
评论(0)
推荐(0)
摘要：
构造矩阵 一致性检验 计算最大特征值 计算一致性指标CI CI = ( λ - n ) / ( n - 1 ) 随机一致性指标RI取值 计算一致性比率CR 计算特征向量 列向量归一化 求行和后归一化 根据特征向量求最大特征值 计算过程 阅读全文
posted @ 2025-03-19 21:23
钱塘江畔
阅读(67)
评论(0)
推荐(0)
摘要：
get_json_object get_json_object(json_string, field_path) -- 对json字符串get_json_object(json_string, field_path) 获取lng/lat ， 序号 为单独字段 新表生成 with tmp as ( s 阅读全文
posted @ 2025-03-19 21:19
钱塘江畔
阅读(60)
评论(0)
推荐(0)
浙公网安备 33010602011771号