面向配电站房运维人员安全风险识别的检索增强多模态大模型方法研究
DOI: https://doi.org/10.64083/STE2610615
作者
周静
摘要
针对配电站房运维中误操作、越界接近、PPE佩戴不规范及环境—设备耦合异常难以统一识别的问题，提出一种检索增强多模态大模型方法。该方法融合现场图像/视频、作业文本和环境传感数据，引入安全规程知识库，通过跨模态注意力与规则一致性约束实现风险识别、分级输出和可解释预警。基于5类典型作业风险模拟数据集进行验证，并与SVM、CNN-BiLSTM、ViT-BERT及多模态Transformer对比。结果表明，本文方法在准确率、F1值、误报率和漏报率等指标上均表现更优，可提升复杂场景下多源信息融合与安全风险判别能力。
关键词
配电站房；安全风险识别；检索增强；多模态大模型；跨模态融合；规则一致性约束
