2022年5月21日
如何安装hadoop集群
摘要： 三台机器上传压缩包并解压 cd /kkb/soft/ tar -xvzf hadoop-3.14.tar.gz -C /kkb/install bin/hadoop checknative #查看一下openssl的状态如果为false 那么所有的机器都需要在线安装 openssl-devel su 阅读全文
posted @ 2022-05-21 22:49 饭兜 阅读(107) 评论(0) 推荐(0) 编辑
hadoop 集群机器准备
摘要： 根据种子机器克隆三台虚拟机 关闭三台机器防火墙 实际工作中需要过滤端口 systemctl stop firewalld systemctl start firewalld 更改克隆机器的IP地址 启动虚拟机更改三台机器的IP地址为 192.168.12.129 192.168.12.130 192 阅读全文
posted @ 2022-05-21 22:18 饭兜 阅读(36) 评论(0) 推荐(0) 编辑
hadoo环境安装-前置准备--配置虚拟机网络
摘要： 设置虚拟机的网段 查看NAT模式的网关 子网ip 及子网掩码 虚拟机子网ip 和 子网掩码要记住 设置网关 需要和子网ip的网段一样 设置本地的电脑的VMNet8网络地址，dns 需要个 nat网段一致 配置虚拟机的子网掩码和dns 配置网络ip 子网掩码 dns cd etc/sysconfig/ 阅读全文
posted @ 2022-05-21 22:10 饭兜 阅读(38) 评论(0) 推荐(0) 编辑
2022年5月4日
linux-firewall 如何开放端口
摘要： linux firewalld防火墙状态查询及开放端口 一、查看防火墙状态 查看防火墙状态 systemctl status firewalld 开启防火墙 systemctl start firewalld 关闭防火墙 systemctl stop firewalld 开启防火墙 service 阅读全文
posted @ 2022-05-04 00:29 饭兜 阅读(502) 评论(0) 推荐(0) 编辑
2022年5月3日
linux-iptables-如何过滤防火墙端口
摘要： iptables操作： 安装iptables-services：yum install iptables-services 开启、关闭、重启防火墙： service iptables [stop|start|restart] 或者：systemctl [stop|start|restart] ipt 阅读全文
posted @ 2022-05-03 20:15 饭兜 阅读(238) 评论(0) 推荐(0) 编辑
2022年4月12日
进程 线程 协程对比
摘要： >进程，线程 对比 1、每一个进程中必须至少包含一个线程，进程是不执行的，执行的只有线程，操作一个进程实际上就是操作里面的线程； 2、一个进行里面可以包含多个线程，多个线程可以同时执行（通过上下文的快速切换进行实现，同一时刻只有一个线程在执行，通过不断地切换程序使得看起来像是在并行），但同一个进程里 阅读全文
posted @ 2022-04-12 00:15 饭兜 阅读(43) 评论(0) 推荐(0) 编辑
进程同步
摘要： >>进程同步 # 多进程执行可以提高程序的运行效率，在多进程的过程中往往会有并发资源的处理，那么在处理的过程中有可能会 # 需要进行访问同步处理 # 多进程并发卖票处理 利用lock类实行数据同步 import multiprocessing import time def worke(dict,l 阅读全文
posted @ 2022-04-12 00:13 饭兜 阅读(27) 评论(0) 推荐(0) 编辑
多协程
摘要： >多协程 >>什么是协程 协程即协作式程序，又可以称为‘微线程’或‘纤程’。所有的协程都是通过线程建的 >>yield实现多协程 # 使用yield实现协程 def producter(cons): info =None #必须首先发送一个noen cons.send(info) for item 阅读全文
posted @ 2022-04-12 00:13 饭兜 阅读(65) 评论(0) 推荐(0) 编辑
Manager类共享数据操作
摘要： >>Manager类共享数据操作 # 使用Manager 结合进程池实现生产者消费模式 import time from multiprocessing import Queue, Process, Pool,Manager def producter(q, data): q.put(data) d 阅读全文
posted @ 2022-04-12 00:12 饭兜 阅读(61) 评论(0) 推荐(0) 编辑
进程间通信Pipe
摘要： >>进程间通信Pipe # Pipe 进程通信管道 ''' 管道是系统实行通信的一种技术手段，开发者可以利用管道创建两个通信链接对象，这两个对象可以实现单端通信，也可以是实现双端通信 ''' import multiprocessing def send_data(conn1,data): conn 阅读全文
posted @ 2022-04-12 00:11 饭兜 阅读(37) 评论(0) 推荐(0) 编辑
下一页