【328】Python 控制鼠标/键盘+图片识别综合应用

　　本文是基于【267】实现跨网络传数据的基础上的，由于在弹出 putty 之后，需要手动输入命令（pass.sh、get.sh）来实现数据的传递，另外就是处理完之后需要手动关闭 putty，本文解决的两个问题就是在 putty 上自动输入命令以及推出（exit）。

　　解决方法：

　　1. 系统在调用 putty 之后，利用【321】python进程监控：psutil 中的知识点，可以判断 putty 是否运行，如果运行了，则可以通过【322】python控制键盘鼠标：pynput 中的知识点自动输入【pass.sh 或 get.sh】，从而实现putty的命令自动输入（根据经验判断鼠标的位置落在 putty 界面上，因此需要 putty 始终保持最上面显示）；

　　2. putty 命令执行完之后，需要执行【exit】命令关闭窗体，问题在于什么时候 putty 执行完毕，是通过【326】Python 截图及图片识别中截取 putty 所在界面，然后通过图片识别技术判断里面是否含有某些文字，如果有的话，可以知道 putty 已经处理完毕。如上，此处也要保证 putty 最上显示，另外截图的区域是按照经验设置的。截图如下所示：
　　

　　代码实现：

　　文件夹设置如下：

📁Data
📁Scripts
- 📃Get_Data.py
- 📃Pass_Data.py
- 📃pscp.exe
- 📃putty.exe
📃Get_Data.bat
📃Pass_Data.bat

　　具体代码如下：

　　Get_Data.py

# coding=utf-8

from PIL import ImageGrab
from PIL import Image
import pynput, time, os, psutil, pytesseract
from pynput.mouse import Button
from pynput.keyboard import Key
mouse = pynput.mouse.Controller()
keyboard = pynput.keyboard.Controller()

def autoinput():
	mouse.position=(499, 273)
	mouse.click(Button.left)
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)
	keyboard.press('g')
	keyboard.press('e')
	keyboard.press('t')
	keyboard.press('.')
	keyboard.press('s')
	keyboard.press('h')
	keyboard.press(Key.enter)
	keyboard.release(Key.enter)
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)
def autoinput_exit():
	mouse.position=(499, 273)
	mouse.click(Button.left)
	# 用来切换输入法，我电脑默认中文
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)
	keyboard.press('e')
	keyboard.press('x')
	keyboard.press('i')	
	keyboard.press('t')
	keyboard.press(Key.enter)
	keyboard.release(Key.enter)
	# 再把输入法切换回来
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)

def savePic():
	pic = ImageGrab.grab(bbox=(175, 299, 719, 701))
	pic.save(r"D:\Windows-Linux\Scripts\tmp.jpg")

def getChinese():
	str_chi = ["数", "据" ,"复" ,"制" ,"完","成", "退" ,"出"]
	text=pytesseract.image_to_string(Image.open(r'D:\Windows-Linux\Scripts\tmp.jpg'),lang='chi_sim')
	for s in str_chi:
		if(text.find(s) > -1):
			return True
	return False

flag = 0
for i in range(0, 100):
	# 获取进程id
	ps = psutil.pids()
	# 判断是否有putty进程，默认只有一个putty
	for pi in ps:
		p = psutil.Process(pi)
		if p.name().find("putty") == 0:
			autoinput()
			flag = 1
			break
	if(flag):
		break
	time.sleep(1)

time.sleep(5)

for i in range(0, 100):
	savePic()
	if(getChinese()):
		autoinput_exit()
		break
	time.sleep(1)

　　Pass_Data.py

# coding=utf-8
# 图片识别技术

from PIL import ImageGrab
from PIL import Image
import pynput, time, os, psutil, pytesseract
from pynput.mouse import Button
from pynput.keyboard import Key
mouse = pynput.mouse.Controller()
keyboard = pynput.keyboard.Controller()

def autoinput():
	mouse.position=(499, 273)
	mouse.click(Button.left)
	# 用来切换输入法，我电脑默认中文
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)
	keyboard.press('p')
	keyboard.press('a')
	keyboard.press('s')	
	# 一样的按键不用release会显示一个按键
	keyboard.release('s')
	keyboard.press('s')
	keyboard.press('.')
	keyboard.press('s')
	keyboard.press('h')
	keyboard.press(Key.enter)
	keyboard.release(Key.enter)
	# 再把输入法切换回来
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)

def autoinput_exit():
	mouse.position=(499, 273)
	mouse.click(Button.left)
	# 用来切换输入法，我电脑默认中文
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)
	keyboard.press('e')
	keyboard.press('x')
	keyboard.press('i')	
	keyboard.press('t')
	keyboard.press(Key.enter)
	keyboard.release(Key.enter)
	# 再把输入法切换回来
	keyboard.press(Key.shift)
	keyboard.release(Key.shift)

def savePic():
	pic = ImageGrab.grab(bbox=(175, 299, 719, 701))
	pic.save(r"D:\Windows-Linux\Scripts\tmp.jpg")

def getChinese():
	str_chi = ["数", "据" ,"复" ,"制" ,"完","成", "退" ,"出"]
	text=pytesseract.image_to_string(Image.open(r'D:\Windows-Linux\Scripts\tmp.jpg'),lang='chi_sim')
	for s in str_chi:
		if(text.find(s) > -1):
			return True
	return False

flag = 0
for i in range(0, 100):
	# 获取进程id
	ps = psutil.pids()
	# 判断是否有putty进程，默认只有一个putty
	for pi in ps:
		p = psutil.Process(pi)
		if p.name().find("putty") == 0:
			autoinput()
			flag = 1
			break
	if(flag):
		break
	time.sleep(1)

time.sleep(5)

for i in range(0, 100):
	savePic()
	if(getChinese()):
		autoinput_exit()
		break
	time.sleep(1)

　　Get_Data.bat

@echo  off

echo.
echo 连接Linux电脑，主机：192.168.14.28，用户名：ocean,密码：lj666yjh
echo.
echo 执行代码【get.sh】

cd ./Scripts

start /min cmd /c python D:\Windows-Linux\Scripts\Get_Data.py

putty.exe -pw lj666yjh ocean@192.168.14.28

echo.
pscp.exe -pw lj666yjh ocean@192.168.14.28:/home/ocean/alex/Others/Linux-Windows/Data/* D:\Windows-Linux\Data\

echo.
echo 数据传输成功！
echo.

start D:\Windows-Linux\Data

　　Pass_Data.bat

@echo  off

cd ./Scripts

pscp.exe -pw lj666yjh D:\Windows-Linux\Data\* ocean@192.168.14.28:/home/ocean/alex/Others/Linux-Windows/Data

echo.
echo 连接Linux电脑，主机：192.168.14.28，用户名：ocean,密码：lj666yjh
echo.
echo 执行代码【pass.sh】

start /min cmd /c python Pass_Data.py

putty.exe -pw lj666yjh ocean@192.168.14.28

echo.
echo 数据传输成功！
echo.

　　源码下载：Windows-Linux.zip

posted on 2018-06-26 10:25 McDelfino 阅读(2139) 评论(0) 收藏举报

刷新页面返回顶部

alex_bn_lee

导航

公告