Python+OpenCV+MediaPipe手势识别

手势识别

完整代码

# 导入需要使用的库
import cv2  # opencv图像处理库
import mediapipe as mp  # 谷歌开源的多媒体处理库
import time  # 时间库

# 调用OpenCV中的摄像头，0为内置摄像头，1为第一个外部摄像头，以此类推
cap = cv2.VideoCapture(0)

# 定义并初始化MediaPipe库中的手部检测模块
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

# 初始化计算FPS所需的变量
pTime = 0
cTime = 0

# 循环读取摄像头中的图像
while True:
    success, img = cap.read()  # 读取摄像头中的图像
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 将BGR格式的图像转换为RGB格式，以便使用MediaPipe处理

    # 使用MediaPipe库检测手部关键点
    results = hands.process(imgRGB)

    # 判断是否检测到了手部关键点
    if results.multi_hand_landmarks:
        for handLms in results.multi_hand_landmarks:
            # 遍历每一个检测到的手
            for id, lm in enumerate(handLms.landmark):
                # 获取手关键点在图像中的坐标
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)
                print(id, cx, cy)
                # 在图像中绘制手关键点
                cv2.circle(img, (cx, cy), 15, (255, 0, 255), cv2.FILLED)

            # 绘制手部特征点的连线
            mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)

    # 计算FPS并显示在图像上
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime
    cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 255), 3)

    # 创建窗口
    cv2.namedWindow("HandsImage", cv2.WINDOW_NORMAL)
    # 调整窗口大小
    cv2.resizeWindow("HandsImage", 800, 600)

    # 在窗口中显示图像，并检测是否按下了'q'键，如果按下则退出循环
    cv2.imshow("HandsImage", img)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

脸部识别

完整代码

import cv2
import mediapipe as mp
import time

# 导入绘图工具和面部关键点模型
mp_drawing = mp.solutions.drawing_utils
mp_face_mesh = mp.solutions.face_mesh

# 绘图配置
drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1)

# 打开摄像头
cap = cv2.VideoCapture(0)

# 开启面部关键点检测器
with mp_face_mesh.FaceMesh(
        min_detection_confidence=0.5, # 面部检测置信度阈值
        min_tracking_confidence=0.5) as face_mesh: # 面部追踪置信度阈值

    # 循环读取每一帧图像
    while cap.isOpened():
        success, image = cap.read() # 读取一帧图像
        if not success: # 如果读取失败，跳过这一帧
            print("Ignoring empty camera frame.")
            # 如果是从视频文件中读取图像，使用 'break' 跳出循环
            continue

        # 将图像水平翻转，以便后面进行自拍视图显示，并将 BGR 图像转换为 RGB
        image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)

        # 为了提高性能，可以将图像标记为不可写，以通过引用传递
        image.flags.writeable = False

        # 进行面部关键点检测
        results = face_mesh.process(image)

        # 等待一段时间，避免图像卡顿
        time.sleep(0.02)

        # 将图像标记为可写
        image.flags.writeable = True

        # 将 RGB 图像转换为 BGR
        image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

        # 如果检测到面部关键点
        if results.multi_face_landmarks:
            for face_landmarks in results.multi_face_landmarks:
                # 在图像上绘制面部关键点和连接线
                mp_drawing.draw_landmarks(
                    image=image,
                    landmark_list=face_landmarks,
                    connections=mp_face_mesh.FACEMESH_TESSELATION, # 使用三角剖分的方式绘制面部连接线
                    landmark_drawing_spec=drawing_spec,
                    connection_drawing_spec=drawing_spec)

        # 在窗口中显示图像
        cv2.imshow('MediaPipe FaceMesh', image)

        # 如果按下 ESC 键，跳出循环
        if cv2.waitKey(5) & 0xFF == 27:
            break

# 释放摄像头资源
cap.release()

# 关闭所有窗口
cv2.destroyAllWindows()