最新资讯

 一、项目介绍

摘要

本项目基于YOLOv10目标检测算法，开发了一套专门针对Apex Legends（Apex英雄）游戏中人物与物体的识别检测系统。系统通过对游戏画面进行实时分析，能够准确识别游戏中的玩家角色（avatar）和各种游戏物体（object），为游戏AI开发、战术分析、辅助工具制作等应用场景提供技术支持。项目使用自定义收集的Apex游戏数据集进行训练和验证，包含训练集2583张、验证集691张和测试集415张图像，共计3689张标注图像。经过优化的YOLOv10模型在该数据集上表现出色，能够满足实时游戏分析的需求。

项目意义

1. 游戏AI开发：为Apex Legends游戏AI提供视觉感知能力，使AI能够像人类玩家一样"看到"游戏世界中的其他玩家和物体。

2. 战术分析与训练：可用于职业战队的战术分析，通过自动识别游戏中的关键元素，帮助玩家提高游戏理解和战术意识。

3. 辅助工具开发：作为游戏辅助工具的基础视觉模块，可用于开发合法的游戏增强工具（如信息显示、态势感知等）。

4. 计算机视觉研究：为游戏场景下的目标检测提供专门的研究案例和数据集，推动特定领域计算机视觉技术的发展。

5. 教育价值：作为一个完整的计算机视觉项目案例，可用于教学展示，帮助学生理解从数据收集到模型部署的全流程。

目录

 一、项目介绍

摘要

项目意义

二、项目功能展示

系统功能

图片检测

视频检测

摄像头实时检测

三、数据集介绍

数据集概述

数据集特点

数据集配置文件

数据集制作流程

四、项目环境配置

创建虚拟环境

pycharm中配置anaconda

安装所需要库

五、模型训练

训练代码

训练结果

六、核心代码

七、项目源码（视频下方简介内）

基于深度学习YOLOv10的Apex游戏人物识别检测系统（YOLOv10+YOLO数据集+UI界面+Python项目源码+模型）_哔哩哔哩_bilibili

二、项目功能展示

系统功能

✅ 图片检测：可对图片进行检测，返回检测框及类别信息。

✅ 视频检测：支持视频文件输入，检测视频中每一帧的情况。

✅ 摄像头实时检测：连接USB 摄像头，实现实时监测。

✅参数实时调节（置信度和IoU阈值）

• 图片检测

        该功能允许用户通过单张图片进行目标检测。输入一张图片后，YOLO模型会实时分析图像，识别出其中的目标，并在图像中框出检测到的目标，输出带有目标框的图像。 

• 视频检测

        视频检测功能允许用户将视频文件作为输入。YOLO模型将逐帧分析视频，并在每一帧中标记出检测到的目标。最终结果可以是带有目标框的视频文件或实时展示，适用于视频监控和分析等场景。

• 摄像头实时检测

        该功能支持通过连接摄像头进行实时目标检测。YOLO模型能够在摄像头拍摄的实时视频流中进行目标检测，实时识别并显示检测结果。此功能非常适用于安防监控、无人驾驶、智能交通等应用，提供即时反馈。

核心特点：

• 高精度：基于YOLO模型，提供精确的目标检测能力，适用于不同类型的图像和视频。
• 实时性：特别优化的算法使得实时目标检测成为可能，无论是在视频还是摄像头实时检测中，响应速度都非常快。
• 批量处理：支持高效的批量图像和视频处理，适合大规模数据分析。

三、数据集介绍

数据集概述

本项目的核心是专门为Apex Legends游戏定制的目标检测数据集，包含以下组成部分：

• 训练集：2583张游戏截图，用于模型训练

• 验证集：691张游戏截图，用于训练过程中的模型评估和超参数调整

• 测试集：415张游戏截图，用于最终模型性能评估

数据集共包含两个类别：

1. avatar：游戏中的玩家角色，包括各种传奇角色及其皮肤变体

2. object：游戏中的各类物体，如武器、弹药、装备、门、补给箱等

数据集特点

1. 多样性：数据集涵盖了Apex Legends游戏中的多种地图、光照条件和游戏场景，确保模型在各种环境下都能稳定工作。

2. 挑战性：包含游戏特有的挑战因素，如：

   • 快速移动的目标

   • 复杂的光影效果（如技能特效、枪口闪光）

   • 不同距离的目标（从近距离战斗到远距离狙击）

   • 各种视角（第一人称和第三人称）

3. 标注质量：所有图像都经过专业标注，边界框精确贴合目标物体，并经过多人校验确保标注准确性。

4. 类别平衡：虽然游戏场景中avatar和object的出现频率自然不平衡，但通过数据收集策略尽量保持了类别的合理分布。

数据集配置文件

数据集采用YOLO格式：

train: F:Apex游戏人物识别检测数据集	rainimages
val: F:Apex游戏人物识别检测数据集alidimages
test: F:Apex游戏人物识别检测数据集	estimages

nc: 2
names: ['avatar', 'object']

数据集制作流程

1. 数据收集：

   • 通过游戏内截图功能或采集卡录制Apex Legends游戏画面

   • 涵盖多种地图（世界边缘、奥林匹斯、风暴点等）

   • 包含各种游戏模式（排位赛、普通匹配、训练场）

   • 确保不同时间段（白天/夜晚地图）和天气条件

2. 数据筛选：

   • 去除模糊、重复或信息量低的图像

   • 确保画面中包含至少一个可识别目标

   • 保持画面分辨率和质量的一致性

3. 数据标注：

   • 使用LabelImg或CVAT等标注工具进行边界框标注

   • 对avatar类别，标注完整的角色轮廓（包括武器）

   • 对object类别，根据实际用途和大小进行合理标注

   • 对部分遮挡的目标进行合理估计标注

4. 数据增强：

   • 应用色彩抖动模拟不同显示设置

   • 添加模糊效果模拟快速移动

   • 调整亮度和对比度模拟不同光照条件

   • 但不使用可能改变游戏UI元素的增强方式

5. 数据集划分：

   • 按照约70%（训练）、20%（验证）、10%（测试）的比例随机划分

   • 确保各子集中地图和场景类型的分布均衡

   • 避免同一游戏片段的连续帧出现在不同子集

6. 质量验证：

   • 多人交叉检查标注准确性

   • 验证边界框是否紧密贴合目标

   • 检查类别标签是否正确

   • 确保没有遗漏明显目标

四、项目环境配置

创建虚拟环境

首先新建一个Anaconda环境，每个项目用不同的环境，这样项目中所用的依赖包互不干扰。

终端输入

conda create -n yolov10 python==3.9

激活虚拟环境

conda activate yolov10
 

安装cpu版本pytorch

pip install torch torchvision torchaudio

pycharm中配置anaconda

安装所需要库

pip install -r requirements.txt

五、模型训练

训练代码

from ultralytics import YOLOv10

model_path = 'yolov10s.pt'
data_path = 'datasets/data.yaml'

if __name__ == '__main__':
    model = YOLOv10(model_path)
    results = model.train(data=data_path,
                          epochs=500,
                          batch=64,
                          device='0',
                          workers=0,
                          project='runs/detect',
                          name='exp',
                          )

根据实际情况更换模型
yolov10n.yaml (nano)：轻量化模型，适合嵌入式设备，速度快但精度略低。
yolov10s.yaml (small)：小模型，适合实时任务。
yolov10m.yaml (medium)：中等大小模型，兼顾速度和精度。
yolov10b.yaml (base)：基本版模型，适合大部分应用场景。
yolov10l.yaml (large)：大型模型，适合对精度要求高的任务。

• --batch 64：每批次64张图像。
• --epochs 500：训练500轮。
• --datasets/data.yaml：数据集配置文件。
• --weights yolov10s.pt：初始化模型权重，yolov10s.pt 是预训练的轻量级YOLO模型。

训练结果

六、核心代码

import sys
 
import cv2
import numpy as np
from PyQt5.QtWidgets import QApplication, QMessageBox, QFileDialog
from PyQt5.QtCore import QThread, pyqtSignal
from ultralytics import YOLOv10
from UiMain import UiMainWindow
import time
import os
 
 
class DetectionThread(QThread):
    frame_received = pyqtSignal(np.ndarray, np.ndarray, list)  # 原始帧, 检测帧, 检测结果
    finished_signal = pyqtSignal()  # 线程完成信号
 
    def __init__(self, model, source, conf, iou, parent=None):
        super().__init__(parent)
        self.model = model
        self.source = source
        self.conf = conf
        self.iou = iou
        self.running = True
 
    def run(self):
        try:
            if isinstance(self.source, int) or self.source.endswith(('.mp4', '.avi', '.mov')):  # 视频或摄像头
                cap = cv2.VideoCapture(self.source)
                while self.running and cap.isOpened():
                    ret, frame = cap.read()
                    if not ret:
                        break
 
                    # 保存原始帧
                    original_frame = frame.copy()
 
                    # 检测
                    results = self.model(frame, conf=self.conf, iou=self.iou)
                    annotated_frame = results[0].plot()
 
                    # 提取检测结果
                    detections = []
                    for result in results:
                        for box in result.boxes:
                            class_id = int(box.cls)
                            class_name = self.model.names[class_id]
                            confidence = float(box.conf)
                            x, y, w, h = box.xywh[0].tolist()
                            detections.append((class_name, confidence, x, y))
 
                    # 发送信号
                    self.frame_received.emit(
                        cv2.cvtColor(original_frame, cv2.COLOR_BGR2RGB),
                        cv2.cvtColor(annotated_frame, cv2.COLOR_BGR2RGB),
                        detections
                    )
 
                    # 控制帧率
                    time.sleep(0.03)  # 约30fps
 
                cap.release()
            else:  # 图片
                frame = cv2.imread(self.source)
                if frame is not None:
                    original_frame = frame.copy()
                    results = self.model(frame, conf=self.conf, iou=self.iou)
                    annotated_frame = results[0].plot()
 
                    # 提取检测结果
                    detections = []
                    for result in results:
                        for box in result.boxes:
                            class_id = int(box.cls)
                            class_name = self.model.names[class_id]
                            confidence = float(box.conf)
                            x, y, w, h = box.xywh[0].tolist()
                            detections.append((class_name, confidence, x, y))
 
                    self.frame_received.emit(
                        cv2.cvtColor(original_frame, cv2.COLOR_BGR2RGB),
                        cv2.cvtColor(annotated_frame, cv2.COLOR_BGR2RGB),
                        detections
                    )
 
        except Exception as e:
            print(f"Detection error: {e}")
        finally:
            self.finished_signal.emit()
 
    def stop(self):
        self.running = False
 
 
class MainWindow(UiMainWindow):
    def __init__(self):
        super().__init__()
 
        # 初始化模型
        self.model = None
        self.detection_thread = None
        self.current_image = None
        self.current_result = None
        self.video_writer = None
        self.is_camera_running = False
        self.is_video_running = False
        self.last_detection_result = None  # 新增：保存最后一次检测结果
 
        # 连接按钮信号
        self.image_btn.clicked.connect(self.detect_image)
        self.video_btn.clicked.connect(self.detect_video)
        self.camera_btn.clicked.connect(self.detect_camera)
        self.stop_btn.clicked.connect(self.stop_detection)
        self.save_btn.clicked.connect(self.save_result)
 
        # 初始化模型
        self.load_model()
 
    def load_model(self):
        try:
            model_name = self.model_combo.currentText()
            self.model = YOLOv10(f"{model_name}.pt")  # 自动下载或加载本地模型
            self.update_status(f"模型 {model_name} 加载成功")
        except Exception as e:
            QMessageBox.critical(self, "错误", f"模型加载失败: {str(e)}")
            self.update_status("模型加载失败")
 
    def detect_image(self):
        if self.detection_thread and self.detection_thread.isRunning():
            QMessageBox.warning(self, "警告", "请先停止当前检测任务")
            return
 
        file_path, _ = QFileDialog.getOpenFileName(
            self, "选择图片", "", "图片文件 (*.jpg *.jpeg *.png *.bmp)")
 
        if file_path:
            self.clear_results()
            self.current_image = cv2.imread(file_path)
            self.current_image = cv2.cvtColor(self.current_image, cv2.COLOR_BGR2RGB)
            self.display_image(self.original_image_label, self.current_image)
 
            # 创建检测线程
            conf = self.confidence_spinbox.value()
            iou = self.iou_spinbox.value()
            self.detection_thread = DetectionThread(self.model, file_path, conf, iou)
            self.detection_thread.frame_received.connect(self.on_frame_received)
            self.detection_thread.finished_signal.connect(self.on_detection_finished)
            self.detection_thread.start()
 
            self.update_status(f"正在检测图片: {os.path.basename(file_path)}")
 
    def detect_video(self):
        if self.detection_thread and self.detection_thread.isRunning():
            QMessageBox.warning(self, "警告", "请先停止当前检测任务")
            return
 
        file_path, _ = QFileDialog.getOpenFileName(
            self, "选择视频", "", "视频文件 (*.mp4 *.avi *.mov)")
 
        if file_path:
            self.clear_results()
            self.is_video_running = True
 
            # 初始化视频写入器
            cap = cv2.VideoCapture(file_path)
            frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
            frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
            fps = cap.get(cv2.CAP_PROP_FPS)
            cap.release()
 
            # 创建保存路径
            save_dir = "results"
            os.makedirs(save_dir, exist_ok=True)
            timestamp = time.strftime("%Y%m%d_%H%M%S")
            save_path = os.path.join(save_dir, f"result_{timestamp}.mp4")
 
            fourcc = cv2.VideoWriter_fourcc(*'mp4v')
            self.video_writer = cv2.VideoWriter(save_path, fourcc, fps, (frame_width, frame_height))
 
            # 创建检测线程
            conf = self.confidence_spinbox.value()
            iou = self.iou_spinbox.value()
            self.detection_thread = DetectionThread(self.model, file_path, conf, iou)
            self.detection_thread.frame_received.connect(self.on_frame_received)
            self.detection_thread.finished_signal.connect(self.on_detection_finished)
            self.detection_thread.start()
 
            self.update_status(f"正在检测视频: {os.path.basename(file_path)}")
 
    def detect_camera(self):
        if self.detection_thread and self.detection_thread.isRunning():
            QMessageBox.warning(self, "警告", "请先停止当前检测任务")
            return
 
        self.clear_results()
        self.is_camera_running = True
 
        # 创建检测线程 (默认使用摄像头0)
        conf = self.confidence_spinbox.value()
        iou = self.iou_spinbox.value()
        self.detection_thread = DetectionThread(self.model, 0, conf, iou)
        self.detection_thread.frame_received.connect(self.on_frame_received)
        self.detection_thread.finished_signal.connect(self.on_detection_finished)
        self.detection_thread.start()
 
        self.update_status("正在从摄像头检测...")
 
    def stop_detection(self):
        if self.detection_thread and self.detection_thread.isRunning():
            self.detection_thread.stop()
            self.detection_thread.quit()
            self.detection_thread.wait()
 
        if self.video_writer:
            self.video_writer.release()
            self.video_writer = None
 
        self.is_camera_running = False
        self.is_video_running = False
        self.update_status("检测已停止")
 
    def on_frame_received(self, original_frame, result_frame, detections):
        # 更新原始图像和结果图像
        self.display_image(self.original_image_label, original_frame)
        self.display_image(self.result_image_label, result_frame)
 
        # 保存当前结果帧用于后续保存
        self.last_detection_result = result_frame  # 新增：保存检测结果
 
        # 更新表格
        self.clear_results()
        for class_name, confidence, x, y in detections:
            self.add_detection_result(class_name, confidence, x, y)
 
        # 保存视频帧
        if self.video_writer:
            self.video_writer.write(cv2.cvtColor(result_frame, cv2.COLOR_RGB2BGR))
 
    def on_detection_finished(self):
        if self.video_writer:
            self.video_writer.release()
            self.video_writer = None
            self.update_status("视频检测完成，结果已保存")
        elif self.is_camera_running:
            self.update_status("摄像头检测已停止")
        else:
            self.update_status("图片检测完成")
 
    def save_result(self):
        if not hasattr(self, 'last_detection_result') or self.last_detection_result is None:
            QMessageBox.warning(self, "警告", "没有可保存的检测结果")
            return
 
        save_dir = "results"
        os.makedirs(save_dir, exist_ok=True)
        timestamp = time.strftime("%Y%m%d_%H%M%S")
 
        if self.is_camera_running or self.is_video_running:
            # 保存当前帧为图片
            save_path = os.path.join(save_dir, f"snapshot_{timestamp}.jpg")
            cv2.imwrite(save_path, cv2.cvtColor(self.last_detection_result, cv2.COLOR_RGB2BGR))
            self.update_status(f"截图已保存: {save_path}")
        else:
            # 保存图片检测结果
            save_path = os.path.join(save_dir, f"result_{timestamp}.jpg")
            cv2.imwrite(save_path, cv2.cvtColor(self.last_detection_result, cv2.COLOR_RGB2BGR))
            self.update_status(f"检测结果已保存: {save_path}")
 
    def closeEvent(self, event):
        self.stop_detection()
        event.accept()
 
 
if __name__ == "__main__":
    app = QApplication(sys.argv)
 
    # 设置应用程序样式
    app.setStyle("Fusion")
 
    # 创建并显示主窗口
    window = MainWindow()
    window.show()
 
    sys.exit(app.exec_())

七、项目源码（视频下方简介内）

        完整全部资源文件（包括测试图片、视频，py文件，训练数据集、训练代码、界面代码等），这里已打包上传至博主的面包多平台，见可参考博客与视频，已将所有涉及的文件同时打包到里面，点击即可运行，完整文件截图如下：

基于深度学习YOLOv10的Apex游戏人物识别检测系统（YOLOv10+YOLO数据集+UI界面+Python项目源码+模型）_哔哩哔哩_bilibili