近日，人工智能学院杨洋老师团队在多媒体安全与物联网安全领域连续取得重要突破，相关成果分别发表于计算机图形学与多媒体领域顶级会议ACM Multimedia 2025（CCF-A类）及网络与信息安全领域顶级期刊 IEEE TDSC（CCF-A类）。

【背景】传统的电信诈骗往往依赖文字或语音，而随着AR眼镜与多模态大模型（LLM）的结合，攻击者可以实时获取受害者的视觉快照、社交媒体画像及即时生理反馈，从而定制极具欺骗性的“完美话术”。

【创新点】杨洋老师团队在 ACM Multimedia 2025 发表了题为 《SEAR: A Multimodal Dataset for Analyzing AR-LLM-Driven Social Engineering Behaviors》 的研究成果。团队构建了全球首个专门用于分析AR-LLM驱动社交工程攻击的多模态数据集——SEAR。

多维数据采集：该数据集招募了60名受试者，在模拟的会议、课堂和社交酒会等真实场景中，利用AR眼镜同步采集了面部表情、语音语调、环境上下文以及受害者的社交背景数据，共包含180组深度标注的对话序列。

有趣的发现：实验数据揭示了AI赋能攻击的破坏力——在大模型的精准操纵下，受试者对恶意钓鱼链接的点选率竟高达93.3%，且交互后的心理信任度激增76.7%。这表明，AI不仅能模仿人类，更能通过分析多模态反馈精准“拿捏”受害者的心理。

【意义】SEAR数据集的开源，填补了业界在AR驱动社交工程行为分析领域的空白，为未来开发能够实时识别、预警并阻断此类高级攻击的防御系统提供了宝贵的“模拟战场”和底层支撑。

论文链接：https://dl.acm.org/doi/10.1145/3746027.3758245

【背景】物联网（IoT）设备遍布智慧城市、工厂与家庭，但边缘网络往往面临“数据孤岛”和“数据稀疏”的问题，且极易受到对抗性机器学习攻击的影响，导致传统的资产识别和安全监测手段频频失效。

【创新点】杨洋老师团队在 IEEE TDSC 发表了题为 《LLMGraph: Enhancing Edge Network Security with Large Language Models》 的研究成果，提出了创新的 LLMGraph 框架，通过大模型的逻辑推理能力重塑安全边界。

应对数据匮乏：团队研发了 LLMGRAPH Abstraction（图抽象算法）。它能够像资深专家一样，将零散的网络流量和设备指纹转化为高阶的语义图结构。即便在原始流量不完整的情况下，也能利用大模型的知识库进行“语义补全”，实现高精度的设备识别与意图分析。

主动防御黑科技：面对狡猾的对抗性攻击（Adversarial ML Attacks），LLMGraph引入了干扰机制（Disruption Mechanism）。该机制能够自适应地在通信链路中注入统计学干扰并生成“虚拟伪装节点”，让攻击者的扫描工具和恶意算法陷入“迷宫”，从而有效保护真实的网络资产。

【验证与应用】该框架已在包含Synology NAS、D-Link等真实设备的物理测试床上完成验证。实验结果显示，LLMGraph显著提升了在复杂、嘈杂环境下的漏洞挖掘准确性，为工业互联网和关键基础设施提供了“AI+安全”的新范式。

论文链接：https://ieeexplore.ieee.org/document/11113355

审核：刘阳卓