導入遊戲化框架以動態偵測進行互動式遊戲

Abstract

本系統主要運用Python的OPENCV函數以及MediaPipe模型技術針對人臉、姿勢、手掌、甚至是整個身體的動作來進行機器學習以及影像辨識的預動作判斷，藉以捕捉使用者特定的動作行為，並同步結合虛擬遊戲設計來進行動態偵測捕捉的應用程式開發。本系統最大的特色不僅是以人機整合的方式，使其達到運動價值的互動式遊戲，期望利用這樣的程式開發可以讓使用者發現運動的樂趣，並且能夠持之以恆達到健康的目標。尤其是對年長者的長輩，更能夠利用這樣的APP設計，以互動式遊戲的方式在運動的同時又能兼顧娛樂的效果。 在整個程式中，我們也利用Pygame設計遊戲的部分，搭配Webcam的簡單設備來抓取使用者的行為動作。並且為了讓遊戲在進行時，可以同時顯示偵測視窗與遊戲視窗，更利用多執行緒的方式來控制兩種獨立的系統，讓兩者視窗可以同時運行；動態偵測的部分主要以多媒體機器學習模型應用框架MediaPipe套件實現，通過MediaPipe Pose Landmarker任務來檢測圖像或影片中人體的33個姿勢關鍵點，在本系統中只需要聚焦在右肩及右手肘，就可以即時計算手臂與身體的角度和使用者的垂直移動，達到動態偵測的效果。

This research presents an interactive exercise game system designed using Python and MediaPipe. The program dynamically detects and captures specific user movements while modifying a game of casual . By seamlessly integrating Python and MediaPipe, the system creates an engaging interactive game that encourages exercise. The main goal is to enhance gameplay and make exercise fun, fostering sustained engagement.

In the implementation, Pygame is used for game design, and a Webcam replaces the camera. The system ensures a smooth gaming experience by utilizing multithreading to display both the detection window and game window simultaneously. The core of the dynamic detection functionality relies on the MediaPipe framework, which detects 33 key points of the human body's pose in real-time. The system particularly focuses on the right shoulder and right elbow, allowing for the calculation of the angle between the arm and body and tracking the user's vertical movement, achieving the desired dynamic detection effect.