AI虛擬手勢玩飛機大戰

哈嘍，大家好。

下面我們分解這個小項目，帶大家來一步一步實現，文末取得項目完整的原始碼。

1. 準備飛機大戰程序

Github上找到一個Python版本的飛機大戰程序，安裝Pygame即可運行。

遊戲操作簡單，右上角是遊戲暫停/開始按鈕，用滑鼠點擊操作。

鍵盤的A、D、W、S鍵用來控制飛機的移動方向，分別對應左、右、上、下。

所以我們的AI程式要完成兩個最核心的功能，第一，辨識手勢；第二，將手勢轉換成滑鼠、鍵盤操作，便可控制遊戲。

2. 辨識手勢

這裡，我們用opencv讀取攝影機中的視訊串流。

將視訊串流中的每個畫面送入mediapipe中的手掌偵測模型，辨識手掌 21 個關鍵點。

在我們的專案中，只用到了食指和中指，也就是左右中的第8和第12點。

核心程式碼如下：

ret, frame = cap.read()
results = hands.process(frame[:, :, ::-1])
if results.multi_hand_landmarks:
# 遍历每个手掌
for hand_landmarks in results.multi_hand_landmarks:
finger_axis_8 = hand_landmarks.landmark[8]
finger_axis_12 = hand_landmarks.landmark[12]

frame是視訊串流中的每一幀，hands是手掌偵測模型。

解析出來的finger_axis_8和finger_axis_12兩個物件中分別存放食指和中指的x、y座標。

3. 手勢控制遊戲暫停

計算食指與中指座標之間的距離，大於某個閾值，則移動滑鼠，點擊暫停遊戲按鈕。

遊戲暫停

若食指與中指座標之間的距離，小於某個閾值，則移動滑鼠，點選開始遊戲按鈕

遊戲開始

距離計算很簡單，這裡不貼程式碼了，重點說下Python控制滑鼠。

我用的是PyUserInput庫，它提供了PyMouse和PyKeyboard兩個類，分別控制滑鼠和鍵盤。

當我們想用Python程式控制遊戲的暫停與開始，只需要將滑鼠移到按鈕的位置，執行一次點擊操作即可。

# 定义鼠标对象
self.mouse = PyMouse()

def pause_or_start_game(self, dist):
"""
判断是否需要暂停（开始）游戏
:param dist:
:return:
"""
if (not self.is_pause and dist > 80) or (self.is_pause and dist < 80):
self.mouse.move(915, 125)
self.mouse.click(915, 125)

self.is_pause = not self.is_pause

pause_or_start_game函數的參數dist是食指與中指之間的距離。

暫停/開始按鈕的座標為(915, 125)，每個電腦座標都不一樣，需要大家依照自己的實際狀況重新計算。

計算想法很簡單，遊戲邊框大小為(480, 700)，遊戲在螢幕正中間啟動，只要取得到螢幕的尺寸，就能大概估算出按鈕的座標。在呼叫PyMouse的move函數，檢驗、微調一下即可。

PyMouse的move函數用來移動滑鼠位置，click函數用來執行滑鼠點擊操作。

4. 手勢控制飛機移動

這裡，需要計算相鄰兩幀食指的x座標和y座標的移動方向和距離。從而決定按下鍵盤A、D、W、S中的哪一個。

同樣的，移動的方向和距離很簡單，這裡也不說了，重點說下PyKeyboard模組控制鍵盤按鍵。

self.key_board = PyKeyboard()
# 按下按键
self.key_board.press_key(key)
# 停留一段时间
time.sleep(press_dwell)
# 释放按键
self.key_board.release_key(key)

press_key和release_key函數之間，呼叫了time.sleep(press_dwell)控制按鍵的時長，按鍵時間長，則飛機移動距離就長，反之，按鍵時間短，則飛機移動距離就短。

所以，這裡的困難在於如何將食指的移動距離對應為按鍵的長度。

我用的是下面這段程式碼測出來

for i in range(n):
kb.press_key('A')
time.sleep(0.05)
kb.release_key('A')

固定按鍵時長為0.05秒，測試飛機從中間移動到最左邊，需要的最小的n。

飛機從中部移動到最左邊，移動距離為 240，因此，240 / (n * 0.05)便是飛機每秒的移動距離。

我測出來的n=7，因此，飛機每秒移動距離為685.7142857。

只要計算出食指的移動距離，除以685.7142857，就可以得到鍵盤的按鍵長度。

手勢控制飛機移動的完整程式碼為：

def press_key_board(self, direction, move_dist):
"""
将手指移动距离，换算为按键间隔，并执行按键操作
:param direction:移动方向
:param move_dist:移动距离
:return:
"""
dist_per_sec = 685.7142857
if direction == 'x':
key = 'A' if move_dist < 0 else 'D'
elif direction == 'y':
key = 'W' if move_dist < 0 else 'S'
else:
return

press_dwell = math.fabs(move_dist / dist_per_sec)
self.key_board.press_key(key)
time.sleep(press_dwell)
self.key_board.release_key(key)

專案的核心部分已經講解完畢，完整程式碼已經整理好，需要的朋友評論區留言即可。

取得程式碼後，先看運行步驟.txt。

如果大家覺得本文對你有用就點個 在看 鼓勵一下吧，後續我會持續分享優秀的 Python AI 專案。

#

以上是AI虛擬手勢玩飛機大戰的詳細內容。更多資訊請關注PHP中文網其他相關文章！