摘要：
我采用创建了Letter类用来储存信件，重写了LetterFilePipeline使得爬取保存的文件名为信件Id，采用了多线程爬取，最后保存到letters目录下 Letter package org.example.crawler_letter; import lombok.AllArgsCons 阅读全文
posted @ 2023-08-04 22:14
突破铁皮
阅读(20)
评论(0)
推荐(0)
摘要：
协程:不同于线程和进程，不是物理存在的，是一种逻辑线程，本质就是通过一个线程实现代码块之间相互切换 一般程序代码都是由上到下依次执行，而协程就摆脱了了这个设定 例如: fun1() fun2() 协程可以先执行fun2()再执行fun1() 现如今主流实现协程的方式为asyncio模块+async和 阅读全文
posted @ 2023-08-03 18:58
突破铁皮
阅读(89)
评论(0)
推荐(0)
摘要：
Hbase是以hdfs为数据储存的,一种分布式、可扩展的NoSQL数据库 本质为一个稀疏的、分布式的、持久的多维排序map 最基本的结构为rowKey和columnFamily 一条数据需要rowKey,columnFamliy,columnName三个才能确定唯一的值 逻辑结构 hbase 列族1 阅读全文
posted @ 2023-08-03 15:46
突破铁皮
阅读(66)
评论(0)
推荐(0)
摘要：
初始所有点都是蓝色的，给定一个数组，每个元素为0，1，2等值，两种操作，选定一个点花1元变红，或者选定一个为1或者2的红色点，减去一个价值，让周围的点变红，最后所有点都要变红 思路：贪心，对于一个数组来说我们找寻连续的不等于0的一段，判断每一段最多所能变红的 存在两种情况 010，这种情况花1可以最 阅读全文
posted @ 2023-08-01 19:03
突破铁皮
阅读(29)
评论(0)
推荐(0)
摘要：
题目大意为给定一个01字符串，给定m个区间，对于每个区间进行一次局部排序，求能得到的字符串种类数 解法：因为字符串只包含0，1两个字符，我们观察可以得到，对于不同的区间来说如果排序后一样则说明肯定是某些位置在排序过程中无贡献，因此我们只需找出有贡献的位置即可 对于一个区间[l,r],来说，如果进行排 阅读全文
posted @ 2023-08-01 16:46
突破铁皮
阅读(16)
评论(0)
推荐(0)
摘要：
题目大意为给定一个伤害k，n个怪物，hp为hp[i],每次都攻击hp最高的怪物，输出怪物的死亡顺序，如果攻击次数一样则按序号由小到大 解法：每次攻击都选最大的，假设hp=k*m+r,我们可以得到当进行m次攻击后，hp只有剩余数，再进行一次攻击怪物就会死亡，因此我们只需按余数由小到大排序即可，注意余0 阅读全文
posted @ 2023-08-01 16:21
突破铁皮
阅读(19)
评论(0)
推荐(0)
摘要：
在部署Hbase之前需要先部署zookeeper来实现对hbase集群的监控调度和hadoop储存hbase表 下载2.5.5这个稳定版本然后上传到虚拟机中 sudo tar -zxvf hbase-2.25.5-bin.tar.gz -C /usr/local sudo mv base-2.25. 阅读全文
posted @ 2023-07-30 10:18
突破铁皮
阅读(483)
评论(0)
推荐(0)
摘要：
副本数量:多少个datanode储存该数据 数据块数量:一个数据被划分为多少个block 数据切片是逻辑上的切片:一个切片对应一个DataNodeTask,默认切片大小等于BlockSize FileInputFormat:默认继承TextInputFormat,对于每个文件单独切片 CombinT 阅读全文
posted @ 2023-07-26 10:35
突破铁皮
阅读(24)
评论(0)
推荐(0)
摘要：
Zookeeper的功能 1.统一命名服务：对应用和服务进行统一命名 2.统一配置服务：在分布式系统下，让所有节点的配置信息一致，便于修改配置信息 3.统一管理服务：可以监控每个节点的状态变换，同时获取信息并作出调整 4.服务器动态上下线：客户端可以实时洞察服务器上下线变化 5.软负载均衡：可以根据 阅读全文
posted @ 2023-07-18 00:51
突破铁皮
阅读(23)
评论(0)
推荐(0)
摘要：
前提条件 三台centos7的主机 hadoop集群搭建完毕 zookeeper下载地址 下载完拖到对应的目录下 #解压 sudo tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local/ #修改名称 sudo mv apache-zook 阅读全文
posted @ 2023-07-18 00:21
突破铁皮
阅读(157)
评论(0)
推荐(0)
浙公网安备 33010602011771号