Python がジェスチャ認識を使用してスネーク ゲームを実装する方法

プロジェクトの紹介

1. ゲームの操作方法

Snake ゲームについては誰もが知っていますが、コンピューター ビジョンについてはほとんど知られていません。コンピュータ ビジョンのスネーク ゲームは、人々の参加性と新鮮さをもたらします。このプロジェクトは主にジェスチャ認識を使用して、シンプルなスネーク ゲームを完成させます。このゲームでは、コンピューターがカメラを通して私たちのジェスチャーをキャプチャし、移動するかどうかを決定します。プレイヤーは手を動かしてヘビを制御し、画面上にランダムに表示される餌を取得します。餌を取得するたびに 1 つとしてカウントされます。ポイントを加算すると、スコアが 1 加算されて画面に表示されます。操作中に誤ってヘビの頭や胴体に衝突すると、GameOver! が表示されます。「r」ボタンを押してゲームを再開してください。

2. 開発時の注意点

(1) 画像の左右問題

使用しているためそれをするためのジェスチャー ヘビの動きを制御しますが、カメラの映像は他人の視点を示しているため、プレイヤーの左右の意識とは真逆になるため、カメラで読み取った映像を左右反転する必要があります。原則として左右のピクセルの位置を入れ替えますが、Pythonでは cv2.flip() 関数を使用してミラー反転を実現できます。

(2) カメラの画面サイズの問題
カメラで得た映像でゲームをする必要があるため、画面が小さすぎるとゲームスペースが足りなくなってしまいます。では、画面のサイズに前処理を実行し、より適切なサイズを設定して、ゲームをプレイするときに最終的な画面が窮屈に見えないようにすることができます。画面の幅と高さは、関数 cap.set(3, m) cap.set(4, n) を通じて設定できます。

このプロジェクトでは他にも、衝突の判定や餌の取得の判定など、注意すべき点がいくつかあります。それらについては、プロジェクトの後半で紹介します。

3. ゲーム実装のポイント

1. サードパーティ ライブラリの選択

使用するサードパーティ ライブラリの一部:

import math
import random
import cvzone
import cv2
import numpy as np
from cvzone.HandTrackingModule import HandDetector

このプロジェクトでは、主に上記のライブラリを使用しますが、その中でランダム ライブラリを使用してピクセルをランダムに選択してフード ドーナツを配置し、cvzone で手の認識を使用してプレイヤーのジェスチャを検出し、cv2 を使用していくつかの基本的な画像操作を実行します。 、後ほど順次紹介していきます。

2. キー ポイントを見つけてマークします

このゲームではターゲット ノードとして手を選択したため、画面に表示される手を検出したら、キーをマークする必要があります。ポイントであり、このキー ポイントはたまたま貪欲なスネークの頭です。サードパーティのライブラリを呼び出しているため、ライブラリは 3D で手をマークできますが、必要なのは x と y の 2 つの座標だけです。値は次のとおりです。十分ですが、主に次の関数を使用して手のキー ノードをマークします:

#检测到第一个手，并标记手部位置
    if hands:
        lmList = hands[0]['lmList']
        pointIndex = lmList[8][0:2] #第八个坐标点的 x, y值，其中 z 值不被包括在里面
        cv2.circle(img, pointIndex, 20, (200, 0, 200), cv2.FILLED) #在关键点处绘制一个圆点并进行填充（此处只是示范，后面会更改）

3. ゲームのすべての関数を保存するクラスを作成します

実装する必要があるゲームには多くの機能があります。これらの機能を関数で実装しようとすると非常に面倒ですが、クラスを使って完成させると同じクラスに色々なものが格納されるので難易度が下がります。このクラスでは、ヘビの体のすべての点、ヘビの長さ、ヘビの全長、餌の配置、スコアなど、使用する重要なポイントのいくつかを保存するための重要なリストを多数作成します。 ##

class SnakeGameClass:
    def __init__(self, pathFood):
        self.points = []  #贪吃蛇身上所有点
        self.lengths = []  #点与点之间的距离
        self.currentLength = 0  #当下蛇的长度
        self.allowedLength = 50  #最大允许长度（阈值）
        self.previousHead = 0, 0  #手部关键点之后的第一个点
 
        self.imgFood = cv2.imread(pathFood, cv2.IMREAD_UNCHANGED) #定义食物
        self.hFood, self.wFood, _ = self.imgFood.shape
        self.foodPoint = 0, 0
        self.randomFoodLocation()
 
        self.score = 0
        self.gameOver = False

4. 継続的に更新する関数を定義する

手を動かすとヘビの長さや位置が変化するため、継続的に更新する関数を作成する必要があります。ニーズの変化 (この部分も、以前に作成した大きなカテゴリで完了しています):

    def update(self, imgMain, currentHead):
        #游戏结束，打印文本
        if self.gameOver:
            cvzone.putTextRect(imgMain, "Game Over", [300, 400],
                               scale=7, thickness=5, offset=20)
            cvzone.putTextRect(imgMain, f'Your Score: {self.score}', [300, 550],
                               scale=7, thickness=5, offset=20)
        else:
            px, py = self.previousHead
            cx, cy = currentHead
 
            self.points.append([cx, cy])
            distance = math.hypot(cx - px, cy - py)
            self.lengths.append(distance)
            self.currentLength += distance
            self.previousHead = cx, cy
 
            #长度缩小
            if self.currentLength > self.allowedLength:
                for i, length in enumerate(self.lengths):
                    self.currentLength -= length
                    self.lengths.pop(i)
                    self.points.pop(i)
                    if self.currentLength < self.allowedLength:
                        break
 
            #检查贪吃蛇是否已经触碰到食物
            rx, ry = self.foodPoint
            if rx - self.wFood // 2 < cx < rx + self.wFood // 2 and \
                    ry - self.hFood // 2 < cy < ry + self.hFood // 2:
                self.randomFoodLocation()
                self.allowedLength += 50
                self.score += 1
                print(self.score)
 
            #使用线条绘制贪吃蛇
            if self.points:
                for i, point in enumerate(self.points):
                    if i != 0:
                        cv2.line(imgMain, self.points[i - 1], self.points[i], (0, 0, 255), 20)
                cv2.circle(imgMain, self.points[-1], 20, (0, 255, 0), cv2.FILLED)
 
            #显示食物
            imgMain = cvzone.overlayPNG(imgMain, self.imgFood,
                                        (rx - self.wFood // 2, ry - self.hFood // 2))
 
            cvzone.putTextRect(imgMain, f&#39;Score: {self.score}&#39;, [50, 80],
                               scale=3, thickness=3, offset=10)
 
            #检测是否碰撞
            pts = np.array(self.points[:-2], np.int32)
            pts = pts.reshape((-1, 1, 2))
            cv2.polylines(imgMain, [pts], False, (0, 255, 0), 3)
            minDist = cv2.pointPolygonTest(pts, (cx, cy), True)
 
            if -1 <= minDist <= 1:
                print("Hit")
                self.gameOver = True
                self.points = []  #蛇身上所有的点
                self.lengths = []  #不同点之间的距离
                self.currentLength = 0  #当前蛇的长度
                self.allowedLength = 50  #最大允许长度
                self.previousHead = 0, 0  #先前的蛇的头部
                self.randomFoodLocation()
 
        return imgMain

この更新された関数では、貪欲なヘビが食べ物に触れたかどうかなど、多くのことを判断する必要があります (食べ物に触れたかどうか) 、ヘビの長さを増やしてポイントを蓄積します）、現在の長さが許容される最大長を超えているかどうか（現在の長さが最大長未満の場合は変更する必要はありませんが、現在の長さがそれより大きい場合）最大長より短い場合は短くする必要がある）、ヘビが衝突するかどうか（キーノード間の距離によってヘビが衝突するかどうかを判断し、衝突が発生した場合はゲームオーバーモジュールに入り、そうでない場合はゲームを続行する）などです。すべて上記で説明したように、コードが壊れています。

主に上記で定義したクラスを通じて、現在のスネーク ゲームを実現できます。

4. 全体的なコード

このミニ ゲームのステーション b のチュートリアルを見て、ステップごとに再現しました。興味がある場合は、試してみてください。もちろん全体的なコードです。以下:

"""
Author:XiaoMa
CSDN Address:一马归一码
"""
import math
import random
import cvzone
import cv2
import numpy as np
from cvzone.HandTrackingModule import HandDetector
 
cap = cv2.VideoCapture(0)
 
#设置画面的尺寸大小，过小的话导致贪吃蛇活动不开
cap.set(3, 1280)
cap.set(4, 720)
 
detector = HandDetector(detectionCon=0.8, maxHands=1)
 
 
class SnakeGameClass:
    def __init__(self, pathFood):
        self.points = []  #贪吃蛇身上所有点
        self.lengths = []  #每一个点之间的距离
        self.currentLength = 0  #当下蛇的长度
        self.allowedLength = 50  #最大允许长度（阈值）
        self.previousHead = 0, 0  #手部关键点之后的第一个点
 
        self.imgFood = cv2.imread(pathFood, cv2.IMREAD_UNCHANGED) #定义食物
        self.hFood, self.wFood, _ = self.imgFood.shape
        self.foodPoint = 0, 0
        self.randomFoodLocation()
 
        self.score = 0
        self.gameOver = False
 
    def randomFoodLocation(self):
        self.foodPoint = random.randint(100, 1000), random.randint(100, 600)
 
    def update(self, imgMain, currentHead):
        #游戏结束，打印文本
        if self.gameOver:
            cvzone.putTextRect(imgMain, "Game Over", [300, 400],
                               scale=7, thickness=5, offset=20)
            cvzone.putTextRect(imgMain, f'Your Score: {self.score}', [300, 550],
                               scale=7, thickness=5, offset=20)
        else:
            px, py = self.previousHead
            cx, cy = currentHead
 
            self.points.append([cx, cy])
            distance = math.hypot(cx - px, cy - py)
            self.lengths.append(distance)
            self.currentLength += distance
            self.previousHead = cx, cy
 
            #长度缩小
            if self.currentLength > self.allowedLength:
                for i, length in enumerate(self.lengths):
                    self.currentLength -= length
                    self.lengths.pop(i)
                    self.points.pop(i)
                    if self.currentLength < self.allowedLength:
                        break
 
            #检查贪吃蛇是否已经触碰到食物
            rx, ry = self.foodPoint
            if rx - self.wFood // 2 < cx < rx + self.wFood // 2 and \
                    ry - self.hFood // 2 < cy < ry + self.hFood // 2:
                self.randomFoodLocation()
                self.allowedLength += 50
                self.score += 1
                print(self.score)
 
            #使用线条绘制贪吃蛇
            if self.points:
                for i, point in enumerate(self.points):
                    if i != 0:
                        cv2.line(imgMain, self.points[i - 1], self.points[i], (0, 0, 255), 20)
                cv2.circle(imgMain, self.points[-1], 20, (0, 255, 0), cv2.FILLED)
 
            #显示食物
            imgMain = cvzone.overlayPNG(imgMain, self.imgFood,
                                        (rx - self.wFood // 2, ry - self.hFood // 2))
 
            cvzone.putTextRect(imgMain, f&#39;Score: {self.score}&#39;, [50, 80],
                               scale=3, thickness=3, offset=10)
 
            #检测是否碰撞
            pts = np.array(self.points[:-2], np.int32)
            pts = pts.reshape((-1, 1, 2))
            cv2.polylines(imgMain, [pts], False, (0, 255, 0), 3)
            minDist = cv2.pointPolygonTest(pts, (cx, cy), True)
 
            if -1 <= minDist <= 1:
                print("Hit")
                self.gameOver = True
                self.points = []  #蛇身上所有的点
                self.lengths = []  #不同点之间的距离
                self.currentLength = 0  #当前蛇的长度
                self.allowedLength = 50  #最大允许长度
                self.previousHead = 0, 0  #先前的蛇的头部
                self.randomFoodLocation()
 
        return imgMain
 
 
game = SnakeGameClass("Donut.png")
 
while True:
    success, img = cap.read()
    img = cv2.flip(img, 1) #镜像翻转
    hands, img = detector.findHands(img, flipType=False)
    #检测到第一个手，并标记手部位置
    if hands:
        lmList = hands[0]['lmList']
        pointIndex = lmList[8][0:2] #第八个坐标点的 x, y值，其中 z 值不被包括在里面
        #cv2.circle(img, pointIndex, 20, (200, 0, 200), cv2.FILLED) #在关键点处绘制一个圆点并进行填充（此处只是示范，后面会更改）
        img = game.update(img, pointIndex)
 
    cv2.imshow("Image", img)
    key = cv2.waitKey(1)
    #按下‘r'重新开始游戏
    if key == ord('r'):
        game.gameOver = False

使用するドーナツ型紙は、ネット上で適切なサイズの型紙を見つけて置き換えることができます。

以上がPython がジェスチャ認識を使用してスネーク ゲームを実装する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。