【威胁情报挖掘-论文阅读】综述：高级持续性威胁智能分析技术 Advanced Persistent Threat intelligent profiling technique: A survey
前些天发现了一个人工智能学习网站，内容深入浅出、易于理解。如果对人工智能感兴趣，不妨点击查看。
写在最前面
BinHui Tang a c, JunFeng Wang b, Zhongkun Yu b, Bohan Chen b, Wenhan Ge b, Jian Yu b, TingTing Lu b的
论文Advanced Persistent Threat intelligent profiling technique: A survey
论文原文链接：https://www.sciencedirect.com/science/article/pii/S0045790622004931#sec2
1. 摘要
随着互联网和信息技术的蓬勃发展，网络攻击变得越来越频繁和复杂，尤其是高级持续威胁 （APT） 攻击。与传统攻击不同，APT 攻击更具针对性、隐蔽性和对抗性，因此手动分析威胁行为以进行 APT 检测、归因和响应具有挑战性。因此，研究界一直专注于智能防御方法。智能威胁分析致力于通过知识图谱和深度学习方法分析APT攻击并提高防御能力。基于这一见解，本文首次系统回顾了针对 APT 攻击的智能威胁分析技术，涵盖数据、方法和应用三个方面。内容包括数据处理技术、威胁建模、表示、推理方法等。此外，本文总结了应用领域的最新研究成果，提出了研究框架和技术架构，并对未来的研究趋势提出了见解。本文有助于认识到智能威胁分析的优势和挑战。为知识图谱与深度学习的融合，实现智能安全铺平了道路。
2. 研究基础
2.1. 高级持续威胁 （APT）
美国国家标准与技术研究院 （NIST） 将 APT 定义为：“攻击者拥有复杂的专业知识和大量资源，使其能够创造机会，使用多种攻击媒介实现其目标 [14]”。该定义侧重于描述APT的特征。本文将 APT 理解为针对针对目标攻击的有组织和有计划的攻击。APT 包含三个主要元素：高级，强调使用复杂的恶意程序或利用系统中的高级漏洞;persistent，强调监控攻击目标的持久性;威胁，这是一种具有蓄意和严重影响的复杂网络攻击[15]。APT攻击具有高度隐蔽性，可以穿透受害者的网络，停留时间长，缓慢而隐蔽地移动，以达到攻击意图。APT 攻击者花费更多时间选择目标、准备攻击模式、发现漏洞以及自定义恶意工具和恶意软件来执行攻击。攻击周期包括信息收集、武器定制、有效载荷投送、初始入侵、安装和操作、C&C通道的建立和攻击实现，这些都可以用网络杀伤链（CKC）来描述。这些步骤中的每一个步骤对于攻击的成功都至关重要。因此，APT攻击通常由专业团体进行，不像使用简单攻击工具的常见攻击。
2.2. 威胁分析（TP）
分析技术作为一种新兴的大数据分析技术，已应用于许多领域。借助历史数据对习惯性偏好和行为模式的研究 可以在定性和定量研究中很好地结合。威胁分析（Threat Profiling，简称TP）是一种基于威胁模型和安全数据分析APT威胁行为的技术，通过挖掘行为模式和推理攻击意图来了解这些数据之间的关系[16]。在大数据和人工智能技术中进行智能威胁分析，可以智能地支持防御策略的指定，实现更精准的动态防御。威胁分析的价值在于通过获取和关联攻击数据来提高威胁参与者的攻击检测和归因准确性。许多研究人员专注于分析APT攻击者的行为模式，这可以有效地解决传统安全技术的局限性[17]。本文将威胁分析（Threat Profiling，TP）定义为威胁知识归纳分析的一种表现形式，是一种收集威胁数据、了解这些数据之间的关系、挖掘行为模式、预测攻击意图和状态的方法。此定义将威胁分析分为三个阶段：建模、表示和推理。
2.3. 相关技术
APT 攻击具有高度隐蔽性，因此很难依靠传统的防御方法来识别威胁行为。海量安全数据对威胁建模、表示和推理提出了挑战。深度学习和知识图谱技术为解决问题提供了全面的思路。威胁分析中的知识图谱有助于分析和理解 APT 攻击，面向优化的深度学习方法致力于提高防御结果。威胁分析主要有利于这两种技术的发展：知识图谱和本体模型用于对威胁分析进行建模，深度学习有助于从异构安全数据中提取安全实体和关系，并支持本体更新和威胁推理。
（1） TP和知识图谱
近年来，知识图谱受到了研究人员的极大关注。它是Google提出的一种信息异构图，是一种由节点和边组成的大规模语义网络。安全知识图谱是代表网络空间中实体和关系的语义关联，为威胁分析提供了直观的建模方法，为智能安全提供了技术基础。安全知识图谱包含模型层和数据层。模型层存储精炼的知识，并由本体数据库管理，如 网络威胁情报交换规范 [18] 中描述的结构化威胁信息表达式 （STIX） 2.1。攻击过程由“战术-技术-工具-数据源-恶意软件-攻击模式-漏洞-硬件和软件”中的复合体和多路径交互关系表示。数据层是从各种类型的原始数据中提取的数据元素的语义关联，并按照本体模板实现，形成有向图结构。
研究人员已经建立了串行安全知识图谱。例如，网络安全态势分析图（Cygraph）包含四个级别：网络基础设施、安全态势、网络威胁和任务准备[19]。它支持攻击面识别和攻击态势理解，以保护关键资产。恶意软件的知识图谱表示恶意软件的概念、属性、关系、系统进程、网络通信和源代码。它利用有效负载和攻击行为来帮助恶意软件分类。安全知识图谱有助于了解 APT 威胁中攻击和防御技术之间的关系。威胁分析模拟安全专家发现攻击活动和识别攻击技术的过程。知识图谱可以通过本体建模，有效地可视化安全知识，提高对威胁行为的解释能力。多源异构数据的关联和融合有助于弥补样本数据的不足。在安全语义信息的支持下，知识图谱为威胁画像的认知和决策提供领域知识。主要的挑战是在大规模安全知识图谱中应用有效的深度学习算法。
（2） TP与深度学习
随着深度学习的不断演进，APT防御问题带来了新的方法。深度学习侧重于利用深度神经网络对大规模网络威胁数据进行表示、融合、挖掘和推理，能够有效地识别、分类和检测异常行为。为了识别异常行为，M. Mamun 等人。 [20]提出了DeepTaskAPT，一种基于异构任务树的长短期记忆（LSTM）神经网络。Xuan 等人。 [21]提出了一种用于APT攻击检测的组合深度学习模型。Gao et al. [22]提出了一种识别基础设施节点威胁的技术，该技术采用RNN来处理威胁情报和序列特征。Zhao et al. [23] 建议使用异构图和图卷积神经网络 （GCN） 对 IoC 之间的关系进行建模，以从威胁情报中提取威胁行为。深度学习探索大规模数据中潜在的威胁行为模式，自动学习向量表示，并提供广泛的参数空间，从而提供强大的建模架构来自动学习。
回顾网络安全技术的发展历史，大多数专家都利用专业知识来定义规则并解决网络空间的安全问题。随着网络攻击的不断演进，智能技术与安全知识的融合已成为必然趋势。智能驱动的网络安全技术分为感知、认知和决策四个阶段，如表1所示。随着人工智能进入认知阶段，深度学习因其智能化、自动化识别和处理能力以及强大的数据分析能力而成为网络安全防御的核心。智能威胁分析正在从感知阶段发展到认知阶段。
深度学习方法可以解决攻击行为特征的挖掘和提取问题，但存在局限性，主要是鲁棒性和可解释性较差。深度学习很难理解数据，即使使用数据增强技术，结果仍然依赖于数据集，导致对未知攻击的响应能力差。研究表明，深度神经网络容易受到对抗性数据的影响，而对抗性攻击是深度学习模型的固有弱点。作为强化学习的类型，生成对抗网络（GAN）被用于从鲁棒优化的角度提高神经网络的对抗鲁棒性 [24]。零/小样本学习的兴起使深度学习能够“通过示例学习”，从而减少对数据集的依赖。
3. 技术架构和总体目标
智能威胁分析利用人工智能技术自动分析 APT 攻击的威胁行为。通过提高多源异构安全数据的融合表示能力，降低威胁行为挖掘难度。该技术架构主要介绍了最先进的威胁分析建模、表示和推理方法，如图 2 所示。以下各节讨论数据、方法和应用中威胁分析的关键技术，例如本体建模、数据采集、信息提取、威胁语义表示、威胁知识推理等。技术架构分为三个部分：
-
（1）安全数据驱动的威胁分析建模。
-
（2）智能方法驱动的威胁分析表示。
-
（3）应用场景驱动的威胁分析推理。智能威胁分析的总体目标是威胁事件分析、威胁场景分析和威胁行为分析。
- （1）威胁事件分析：威胁事件分析侧重于研究威胁事件与检测APT攻击的内在相关性，这归因于原始数据层的多源异构性。通过融合异构威胁源和威胁特征来减少数据冗余，以比单个数据源更好地反映 APT 的异常行为。
- （2） 威胁场景分析：威胁场景分析对于识别攻击场景至关重要，并有助于归因 APT 组。威胁场景分析依赖于信息层，信息层实现安全语义信息之间的关联，生成场景分析。
- （3）威胁行为分析：威胁行为分析依赖于知识层，知识层应用网络安全知识来理解和识别威胁行为模式。将来自不同来源的安全知识进行关联和融合，以建立统一的 APT 参与者行为分析模型。不同数据源之间的语义差距是主要制约因素，而安全知识图谱是实现威胁行为分析的有力手段。因此，威胁行为分析依赖于知识图谱技术来分析威胁行为，预测威胁意图，发现未知攻击。
4. 智能威胁分析数据
安防产业界和学术界正在加速智能安防，期待构建智能安防生态圈。数据是智能安全生态系统的基础，其作用越来越重要。对 APT 防御的需求已经远远超出了传统的安全设备，各种安全数据（如主机日志、网络流量、安全警报、威胁情报和社交媒体数据）是威胁分析的主要数据源。然而，海量的安全数据使得威胁分析在挖掘关键信息时遇到了重大挑战。这些数据分散、语义多样、异构，容易造成语义差距和概念漂移。当务之急是通过威胁分析将这些数据转化为知识。因此，关键数据采集是智能威胁分析的基础，如图 3 所示。
4.1. 数据采集
（1）数据源采集
有两种数据源：内部数据和外部数据。内部数据（如审核日志、网络流量、安全警报等）通常以标准格式构建，并从本地系统收集。外部数据包括恶意软件、威胁情报、开源安全博客、其他安全论坛等，均为半/非结构化数据格式，从外部数据源收集。具体说明如下：
（a）审计数据：审计数据是指主机运行过程中发生的各种类型的日志记录，其中每个日志条目都是通过监控主机的运行而产生的，包括内核和系统日志、用户日志、应用程序日志以及各种类型的数据记录等。它反映了用户操作和操作系统的日常行为，并识别和发现针对主机的攻击活动。主机日志是最直接的数据，也是攻击事件分析中不可或缺的信息来源。
（b） 网络流量：网络流量通常通过流量镜像、嗅探、解析等方式收集，安全威胁通常是通过解析传输网络流量中通信的行为特征来发现的[25]。例如，APT僵尸网络攻击（僵尸网络）控制僵尸网络服务器（命令和控制服务器）与受控节点进行通信。
（c） 恶意软件：恶意软件是用于完成特定恶意功能和程序的恶意代码，例如计算机病毒、蠕虫、特洛伊木马、后门、Root-Kit、Bot 等。 远程访问木马 （RAT） 是 APT 攻击中常用的恶意软件，允许远程攻击者进行间谍、信息盗窃、和勒索或控制受害者的设备 [26]。
（d） 安全警报：安全警报是由这些部署的安全设备生成的数据，例如入侵检测系统、流量分析系统、防火墙和防病毒软件 [27]。它们可以看作是网络系统内的安全检测器，它收集所有安全警报事件并提供低级别的安全视图。由于安全产品中使用的技术技能不同，因此会产生不同类型的安全警报，从而对安全信息提供不同的视角。
（e） 威胁情报 （TI）：Gartner 提出了 TI 的概念，并被广泛接受：威胁情报是基于证据的知识，包括上下文、机制、指标或隐含的可操作建议。威胁情报是威胁分析中的重要数据源。威胁情报 （TI） 是来自外部数据源的威胁知识，由许多组织和文献定义和共享，例如威胁报告、资产报告、安全博客、漏洞数据库、恶意软件数据库、安全网站、社交媒体等。作为网络攻击知识共享的载体，可以为威胁分析提供必要的知识。特别是，入侵指标（IoC）作为威胁知识的具体表示，是网络威胁情报的主要内容。战术、技术和程序（TTP）可以反映攻击群体的行为模式，广泛用于威胁分析，具有很高的研究价值。大多数研究人员在互联网上搜索可用的情报信息进行研究，马等人。 [28] 提出将正则表达式和语法树相似性相结合的方法，以从安全博客中提取攻击指标。例如，安全专家对攻击事件的分析以及这些报告包括对攻击目标、实施场景、攻击者习惯等的详细分析。它们为高级威胁行为分析提供了原材料。威胁情报通过信息共享，降低安全风险，增强安全主动防御能力。
数据采集方法可分为主动模式和被动模式。被动收集主要通过将流量镜像到安全设备并使用流量捕获工具（如嗅探器、Netflow 等）来捕获。数据源包括主机日志、网络流量、安全警报等[29]。主动收集由爬虫、API 接口和其他方式获取外部数据源，例如威胁信息、安全报告、漏洞报告、恶意软件分析报告、安全标准、来自社交媒体的威胁共享信息、漏洞数据库等 [30]。安全数据通常单独用作单一数据源进行分析，而无需统一的模型。
（2）数据分类
本文基于DIKW的金字塔数据分层模型，将网络安全数据分为三层;底部是原始数据层，中间是信息层，顶部是知识层。
（a） 原始数据层主要是未经处理的原始网络数据，结构清晰，不包含明确的语义信息。它包括显式主机日志、网络流量、蜜罐日志和网络设备日志 [31]。
（b）信息层主要基于规则和匹配处理后的数据，具有多样化的数据结构，包含明确的语义信息。这些数据具有时效性，主要包括资产信息、漏洞报告和威胁事件报告。
（c）知识层主要是经过融合、分析、总结后的知识，可用于推理和预测。这些数据包含许多网络安全知识库，如CAPEC、CWE、CVE、CNNVD [32]和ATT&CK [33]，它们具有复杂的数据格式，并呈现出多种语义和表示。
数据类型包括结构化、半结构化和非结构化数据。从数据的语义角度来看，它有语义和非语义数据[34]。原始数据几乎是结构化数据，例如主机日志、网络流量等;信息层的数据是半结构化数据，如攻击告警、恶意软件、漏洞报告、安全事件报告等;知识层中的数据是非结构化的，例如来自社交媒体的威胁情报和各种安全知识。数据收集、处理、存储和分析方式不同，存在显著差异。原始数据属于非语义数据，不包含安全语义信息。可以使用特征匹配来分析数据以进行异常检测。但是，属于语义数据的信息和知识层具有丰富的语义信息和较强的上下文相关性，这是威胁分析中不可或缺的一部分，必须使用智能方法。
4.2. 信息获取
APT 攻击具有高度隐蔽性，通常将其行为伪装成合法用户。从原始数据中检测攻击活动具有挑战性。从异构数据中发现与APT攻击行为相关的实体和实体关系对于威胁分析至关重要[35]。然而，数据源分散、语义多样、格式异构，需要完善的数据处理方法。否则，它们会带来数据爆炸、语义差距、概念漂移等问题。对于不同的数据源，结构化非语义数据处理方法简单，语法规则相似，因此结构化非语义数据处理方法很容易。信息层中的各种数据通常使用数据清洗、特征提取、特征选择和特征变换方法来提取关键特征。
（1） 数据清洗
数据清洗主要是对数据进行重新检查和验证，包括删除重复和不正确的信息、数据源异构性导致的冗余和不兼容问题、规范化数据格式等[36]。这些方法删除无效值或不正确的信息，包括完全列删除、变量删除和对删除。有用于处理缺失值的平均插值和高维映射。由于数据异构性，通常使用的方法有数据值冲突处理、冗余处理和模式匹配。数据归一化主要使用数值方法将非数据信息转换为数据，并使用集中化或归一化方法将 [0,1] 中的值集成到实验中。
（2） 功能选择
特征选择是数据处理技术的一个组成部分。特征选择会删除一些对分类没有多大贡献的特征，并选择适当的特征进行训练。特征选择旨在提高学习效率和准确性，并减少计算和存储需求。特征选择可分为嵌入式、滤波和封装[37]。特征选择算法是嵌入式算法的关键组成部分。使用几种质量过滤方法（例如类间距、信息增益、相关性和不一致性）进行排名的特征 研究人员提出了启发式方法，例如正向搜索、后向搜索和随机搜索。正向搜索会周期性地添加特征，直到学习算法的性能不再提高。这两种方法通常都是局部最优的，并且很难获得全局最优的特征子集。随机搜索，使用遗传算法、免疫算法和蚁群算法进行特征集搜索，精度较高，但算法效率较低[38]。封装选择算法学习算法的性能，作为特征选择的评估标准。
（3） 特征提取
特征提取是数据处理中不可或缺的一部分，主要是将高维特征空间映射到低维特征空间，从而提高算法性能，最大限度地减少信息损失，增强对数据的深度理解。特征提取从三个方面进行：（a）建立多粒度特征精简模型，通过有效去除多源数据中的冗余数据来提取本质特征;（b）研究多源数据的粒化方法，以实现特征的有效压缩;（c）研究多源数据中攻击意图特征的提取算法[39]。目前，特征提取算法包括主成分分析、因子分析、奇异值分解、多维尺度分析和简化学习、基于核密度估计的贝叶斯算法（NBK）和支持向量机（SVM）。
4.3. 知识获取
随着威胁情报的广泛应用，文本知识的自动获取成为最具挑战性的任务，已经产生了许多利用自然语言处理和知识图谱获取知识的方法，Philip S. Yu et al. [40] 总结了最近在知识图谱表示、获取和应用方面的突破。安全知识来自不同的数据源，具有复杂的实体关系和不同的语义。从非结构化文本数据中自动获取结构化知识是知识获取的主要任务，这对于威胁分析至关重要。信息和知识层中的各种数据通常使用这种方法来挖掘行为知识。
（1） 实体提取
实体提取也称为命名实体识别。目标是从安全数据中自动识别安全实体，需要根据数据结构的程度选择合适的方法。有三种方法：基于规则、基于机器学习和基于深度学习。深度学习是发现隐式特征的最佳方法。
（a） 规则方法：安全实体的半结构化数据包括 IP、域、电子邮件、DNS、CVE 和危害 （IoC） 的哈希指标 [41]。这些安全类实体需要通过正则表达式或字典匹配来提取，以实现实体提取。规则方法使用预定义的规则来识别和定位信息特征，但其准确性和效率会随着规则升级次数的增加而降低。将规则提取与自动学习方法相结合，可以减少规则数量并自动生成规则，从而解决匹配效率和提取精度之间的平衡。
（b）机器学习方法：与有规则的实体提取方法相比，机器学习方法不需要手动构建规则，而是从训练语料中自动学习参数，实现实体和属性提取[42]。使用语法树、相似性指标和支持向量机 （SVM） 等标准方法。传统技术和简单的神经网络相结合，催生了一些经典算法，如隐马尔可夫模型（HMM）和条件随机场（CRF）[43]、引导算法等。 机器学习方法无法深入处理语义信息，以及没有充分考虑语义特征的端到端神经网络模型 可能无法准确捕获安全实体。因此，一些研究人员已经开始使用深度学习作为获取深度语义信息的解决方案。
（c） 深度学习方法：机器学习方法无法进行深度语义信息处理，因为对于没有明显结构特征的实体，不容易发现显著特征、结构和语义特征。深度学习方法用于融合实体的结构和语义特征（单词特征、字符特征和句法依赖特征），以自动识别安全实体。循环神经网络（RNN）和双向长短期记忆（BiLSTM）模型是文本数据处理的常规解决方案，它们使用局部补偿来帮助分析相关信息和区域注意力机制，以提高提取效率。 卷积神经网络（CNN）[44]在该领域得到了广泛的应用并取得了良好的效果，产生了优秀的模型，如TextCNN、CRNN、RCNN、HFT-CNN等。 图神经网络（GNN）[45]可以改善实体之间的语义关系和信息提取的有效性。一些学者使用知识图谱和多层注意力机制，通过异构图网络中的元路径和元图实例来提取关键信息并识别威胁基础设施节点。
（2） 关系提取
关系抽取的目的是解决实体之间的语义链接问题，从文本中抽取两个或多个实体之间的语义关系。关系抽取技术的方法包括无监督学习方法、监督学习方法和远监督学习方法3种[46]。1998 年，在上一届 MUC 会议上首次提出了关系提取任务，使用关系模板来描述实体与实体的关系。通过人工标注获得的MUC、ACE和SemEvał评估会议中的实体关系语料库耗费人力且成本高昂，语料域覆盖面窄。涵盖其他特定领域并不容易，例如网络安全。Yang等[47]在许多自然语言处理任务中取得了显著的成果。深度学习方法提出了一种 基于异构图注意力网络的半监督文本分类模型，以提高短文本处理的准确性，该模型在该领域得到了广泛的应用，并取得了良好的效果。关系抽取方法类似于实体抽取，从不同来源抽取特定实体的关系信息。一些学者使用注意力机制来改善循环神经网络对局部信息的感知效果。它们通常分为单向和双向，以补偿由于全局和局部分析不明确而导致的循环网络的信息损失。RNN 和 LSTM 是用于文本处理的传统方法，也是用于关系提取的卷积神经网络，有效地使用新的损失函数来提高关系分类性能 [48]。
尽管上述方法在提取任务中取得了良好的结果，但它们需要大量高质量的标记数据。因此，研究人员已经开始使用远程监督进行关系提取来解决标记数据的稀缺性问题。毛等[49]提出了一种基于知识图谱结合多层注意力机制的远监督关系抽取，以提高关系抽取的有效性，解决标记数据稀缺的问题。尽管如此，远监督中的噪声仍会影响结果的准确性，强化学习可以很好地处理噪声问题和未来的研究趋势。
5. 智能威胁分析方法
人工智能（AI）技术的发展加速了产学界对智能安全的研究，有望构建智能安全生态系统。智能威胁分析的目标是解决人类在安全分析方面的局限性，降低挖掘威胁知识的成本。要实现目标，必须解决两个关键点，即数据和方法。数据是智能安全的基础，而方法对于提高其有效性至关重要。智能威胁分析的方法包括威胁分析建模、表示和推理，如图 4 所示：
下载：下载高分辨率图片 （603KB）
下载：下载全尺寸图像
图 4.智能威胁分析方法。
5.1. 威胁分析建模
威胁建模是威胁分析不可或缺的一部分，威胁分析使用相关本体来组合威胁类别和行为模型。用于构建基于网络安全本体的威胁行为知识图谱，有助于理解网络威胁，更好地感知APT的威胁行为模式。许多相关研究为威胁本体模型提供了研究基础。一些研究者提出了一种基于OWL语言的攻击本体方法[50]，该方法通过攻击类别和策略构建网络安全本体，对攻击方式、信息资产、攻击影响和防护措施进行分类。Noel 等人。 [51]提出CyGraphs作为网络安全图模型，它使用节点和边来表示网络空间中实体的逻辑关系;Kiwia[52]提出了一种用于特洛伊木马行为分析的本体分类模型。威胁本体模型的优点是依靠安全知识来准确表示特定事实。威胁画像建模流程主要包括威胁本体定义、构建和建模，广泛用于表示安全数据、分析安全模式。
（1）威胁本体定义
威胁本体模型是威胁分析的基础。本体是域中对象的一组名称、定义和关系，使其成为对象之间通信和链接的基础。威胁本体模型是应用于网络安全的威胁描述模型的本体理论，包含资产、威胁、漏洞、恶意软件、攻击模式、防御方法、攻击事件等。主要在安全领域、本体推理、查询函数等方面提供统一表达式。网络安全本体旨在以更详细的粒度解决网络安全问题。定义知识渊博、粒度适中且语义丰富的本体模型也是威胁分析建模的基本技术。本体论在安全领域的可行性已经通过不同的研究结果得到了安全社区的证实，例如 Vorobiev 等人。 [53] 开发了安全资产漏洞本体 （SAVO） 来对网络威胁、风险、拒绝服务攻击、非法访问和漏洞的概念、属性和关系进行建模。Amina Souag等[54]创建了安全本体（Security Ontology，SO）对信息系统的资产、响应和风险管理等概念进行分类。赛义德等人。 [55] 开发了广泛使用的统一网络安全本体论 （UCO），集成了安全领域相关概念和异构数据的实例化融合方法，用于威胁情报共享和交换。
（2）威胁本体构建
本体构建主要有三种方法：手动本体构建、现有本体重用和自动本体构建[56]。构建过程主要包括确定本体需求，检查现有概念、属性和层次结构，定义本体模型以及创建实例。本体模型是一个抽象的威胁分析模板，主要由架构层和数据层组成。模式层主要是通过设计一个描述数据的元信息和元结构的本体库来实现的。数据层是基于本体模型生成的实例集合，包含实例数据，如实体、关系、属性等数据。架构层和数据层相辅相成，构建威胁本体模型。模型层可以为数据层的构建提供领域知识和理论支撑，避免了因数据覆盖不足而导致的本体构建不完整的问题;数据层直接面向应用，明确了模型层的安全要求，防止了本体构造与实际应用的脱节。
（3）威胁本体建模
本体建模有三个原则。首先，构建分层剖析本体模型;因为安全数据和方法是分层的，使用分层模型可以保持与数据结构的一致性，有助于实现数据、方法和应用的结合。充分发挥智能威胁分析的价值;其次，本体模型应保持出色的可扩展性。APT的攻击场景随着攻击技术的进步和数据关系的丰富而逐渐增加;最后，这些模型促进了数据的关联和整合，以便建立新的数据关系和约束规则。威胁分析提供了一个本体建模框架，可以分为威胁事件建模、场景建模和知识建模。
（a） 威胁事件建模：威胁事件建模表示威胁事件的内在相关性，以检测 APT 攻击。由于图形具有很强的表示能力，因此通常用于对复杂关系进行建模，并在网络空间中得到广泛应用。将孤立的、隐藏的、动态的、稀疏的攻击事件构建为不同类型节点和边缘的动态交互图。它们对复杂攻击进行全面建模，有效降低不确定性，显著提高威胁分析的可信度。基于图的事件建模方法包括攻击树模型（ATM）[57]、攻击图模型（AGM）[58]和异构图模型（HGM）等。异构事件需要一种新的建模方法，用于基于广泛研究的异构图进行威胁分析和安全数据挖掘。HGM模型全面地表示了威胁行为的关系，这对检测和发现非常重要。Philip S.Yu等[59]提出了异构图和元路径等概念。异构图中的节点和边包含丰富的语义信息。不同的元路径可能具有不同的含义，并充分考虑语义信息，可用于更细粒度的威胁发现。元路径是链接节点对之间的关系序列，广泛用于提取异构图的子结构或表示图中的语义信息。异构图为基于广泛研究的异构图的威胁分析和安全数据挖掘问题提供了一种新的建模方法。
（b） 威胁场景建模：威胁场景是一种攻击建模方法，用时间序列链描述攻击过程的几个阶段。该模型将复杂的攻击活动描述为一个生命周期，这有助于安全分析师了解攻击的威胁。威胁场景建模包括钻石模型（DM）、攻击金字塔模型（APM）[60]和网络杀伤链（CKC）[61]等。网络杀伤链（CKC）最早由洛克希德·马丁公司提出，它将APT攻击活动分解为七个独立的攻击步骤。该模型适用于解释 APT 攻击，但缺乏对攻击过程的详细描述。单一的攻击步骤无法有效识别潜在威胁，面对未知威胁需要多阶段的综合分析。MITRE 于 2013 年提出了 ATT&CK，这是一种攻击链模型，描述了 APT 攻击期间使用的战术、技术和程序 （TTP）。然而，这些技术之间的相关性很小，导致难以识别威胁参与者的行为特征。威胁场景建模使用该图来关联这些技术并恢复 APT 攻击行为，这有助于了解威胁参与者的意图和目标。
（c）威胁行为分析：威胁行为分析利用本体建模方法实现异构数据源的语义关联，建立统一的APT攻击行为分析模型。威胁行为分析需要通过安全知识进行补充，以解决架构层和数据层之间的语义差异，使它们处于相同的语义空间中。安全知识来源于与漏洞、资产、威胁情报和社交媒体相关的知识库。不同的安全本体图可以解决需求，利用图中的节点和边来表示网络空间中特定威胁行为知识的关系，并将威胁类别与威胁推理方法相结合，以发现未知攻击。优点是安全知识和威胁模型相辅相成，避免因数据不足导致模型不完整。该模型为数据提供了理论基础，以避免威胁模型与威胁分析之间的脱节。
（4）威胁本体关联
关联关系的丰富性是多源异构安全数据的特征。基于本体的数据关联是威胁分析的一项基本任务。对关联分析方法的研究可以有效解决数据源信息描述不规范的问题，支持语义数据检索、智能推理和威胁分析的应用。这部分包括具有不同结构和语义的数据上的威胁事件关联、威胁场景关联和威胁行为关联[62]。
（a） 威胁事件关联：威胁事件关联的目的是发现和检测攻击。一些方法描述已知事件与警报或漏洞之间的因果关系和时间关系，然后将相关性转换为图形，以实现攻击检测和发现。Luh等[63]提出了一种攻击事件和警报关联的攻击图关联方法，旨在将多个由确切原因引起的异常事件关联起来，并建立奇异事件与攻击之间的因果关系，以检测攻击。T.Ghafir等人。 [64]提出了一种APT检测系统-MLAPT。该系统设计有关联图来关联同一攻击的事件，并设计有机器学习预测模块，可以准确、快速地检测攻击。文献自动分析漏洞与告警的关系，生成漏洞利用攻击图，检测攻击。
（b） 威胁情景关联：威胁情景关联的目的是描述和识别 APT。关联方式利用大量持续生成的主机日志、防火墙日志和入侵检测告警，通过注意力和日志关联获取更准确的安全信息。哈桑等人。 [65] 提出了一种关联告警和日志中的图分析技术方法，可以有效地挖掘数据关系并全面重构攻击场景。Zimba等[66]提出了多步入侵分析系统的自相关记录和信号，该系统结合了社交网络分析方法，在多源数据中识别“攻击社区”。
（c） 威胁行为关联：威胁行为关联的目的是对 APT 进行归因和预测。该方法的有效性取决于在没有外部知识的情况下与APT相关的异常判断行为。然而，异常行为并不等同于现实环境中的攻击。目前，一些研究者提出利用外部知识提取APT的行为特征。Wajih等[67]提出，通过将攻击行为映射到TTP，从原始数据图转换为攻击战术图。为了弥合系统调用和攻击链之间的语义鸿沟，一些研究人员提出了异构场景图（HSG）作为中间层，其中节点是战术、技术和程序（TTP）中的实体，边缘代表TTP之间的信息流。
（5）威胁本体融合
本文将融合方法分为数据、特征和知识。现有的融合方法没有表达多源异构数据和不同层次融合方法的层次关系。探索融合方法的有效性是本部分的主要内容。
（a） 数据融合;通过威胁检测中的数据融合算法，在网络安全方面取得了一些进展。吴昊[68]提出了一种基于多源异构数据融合的网络安全事件检测方法。数据融合可以归纳为两类：随机技术和机器学习技术。随机方法包括加权平均、卡尔曼滤波、多贝叶斯估计、Dempster-Shafer （D-S） 证据推断、生成规则等。相比之下，机器学习方法包括模糊理论[69]、神经网络、粗糙集理论和专家系统。深度神经网络技术在数据融合中发挥着越来越重要的作用。
（b）特征融合：特征融合主要包括特征映射、重复数据消除、特征过滤、特征加权等。 [70]提出了多源异构网络安全数据的特征融合框架MatchGNet，该框架通过描述复杂的网络威胁行为，利用图表示学习和相似度量来检测未知恶意软件，并取得了良好的效果。输入数据不再是原始数据，而是对数据进行处理以形成具有攻击模式的威胁信息。该框架减少了需要分析的数据量，提高了网络安全数据的可信度，构建了信息融合模型[71]。
（c） 知识融合：知识融合是来自多个来源的异质知识的融合方法。知识融合由两个主要组成部分组成：实体链接和实体互补。郝等人。 [72]提出了一种多源知识融合模型，使用本体表示和不同的信息资源，逻辑规则来消除冗余，减少误报并重建已知的攻击场景。该模型的优点是它解决了多源异构数据中的句法和语义表示，并且可以挖掘未知的攻击模式。
5.2. 威胁分析表示
近年来，许多研究人员提出了知识表示技术，成为人工智能领域的重点研究，并在语音识别、图像分析和自然语言处理方面取得了有意义的进展。知识表示学习是分布式的，用于表示三元组（源、关系、目标）等实体与低维向量的语义关系，使两个语义相似的对象接近。传统知识表示在威胁分析推理中是无效的。图形结构化数据通常用于对复杂的关联关系进行建模。基于图神经网络的知识表示方法备受关注，在网络空间安全领域得到广泛应用。随着对知识表示研究的深入，从不同角度定义的剖析表示学习方法应运而生，将其分为基于距离变换的传统表示学习方法、语义匹配模型和基于图神经网络的表征学习方法。
（1）传统表征学习方法
知识表示学习是一种针对知识库中实体和关系的表征学习方法，可以有效地计算低维空间中实体和关系之间的语义关系，解决数据稀疏性问题，提高知识推理的性能[73].表征学习旨在将语义信息表示为密集的低维实值向量。在这个低维向量空间中，两个向量越接近，它们的语义相似性就越高。早期的剖析表示方法在表示过程性和非确定性知识方面的能力有限。当数据量巨大时，它们无法灵活地扩展以用于推理任务。表征学习方法是基于结构和语义的表征学习方法。
（a）结构表示学习方法：大多数结构表示学习方法使用具有一定稀疏性的三元组（头部、关系、尾部）结构。结构表示学习方法通过测量头部和尾部之间的距离来学习实体和关系的表示。平移距离模型（TransE）模型[74]的重大突破之一，该模型考虑了头部实体头部的嵌入，并将关系的嵌入添加为近似等于尾部实体的嵌入。虽然TransE模型在对表面关系进行建模方面是有效的，但在复杂的建模关系中却不那么有效。因此，为了解决TransE模型的问题，研究人员提出了TransE模型的各种变体，包括TransH、TransD、TransA、KG2E等，这些变体在表征学习方面取得了一些进展，以解决复杂问题的不同方面。
（b）语义表征学习法：与结构表征学习法相比，语义表征学习法使用语义相似度评分函数来学习实体和关系的表征。语义表示学习方法侧重于挖掘向量化后实体和关系的潜在语义。它通过匹配向量空间中表示的实体和关系的潜在语义来衡量事实的合理性。RESCAL 模型将每个实体与向量相关联以捕获其潜在语义，描述矩阵中的关系以模拟潜在因素之间的相互作用，并使用双线性函数进行评分。RESCAL的变体[75]针对模型复杂性、可扩展性、实用性和效率等各个方面进行了优化。基于神经网络的语义匹配模型使用不同的神经网络架构进行语义匹配，但存在参数过多、效率低的问题。随着表征学习技术的不断发展，如何有效获取全面的图画特征，更好地融合异构数据之间的关系进行图形化表示，避免多源数据的语义损失成为研究的关键。
（2）图表示学习方法
图表已被广泛用于理解和探索网络安全中的威胁相关性。目前，APT攻击中基于图的威胁模型有四种：
（a） 情报图 （IG）：安全研究人员使用威胁情报来分析和挖掘 APT 攻击行为者。Settanni等[76]提出了一种情报图，通过收集有关攻击行为者的社会情报来推断缺失的属性。Zhao等[77]提出了一种相似度图推理方法，将威胁信息转化为情报图，并使用相似度哈希算法确定攻击的相似性，用于剖析推理;
（b） 归因图 （AG）：一些研究通过跟踪已发布的恶意软件来关联和推断 APT 行为者。APT攻击的恶意软件通常以家族模式演化，因此构建恶意软件家族归因图谱来归因APT攻击至关重要。Zhao等[78]提出了一种基于图来表示事件和组件之间对应关系的方法，从而推断出恶意软件家族，这些家族在恶意软件中起着至关重要的作用。
（c） 来源图（PG）：来源图使用节点来表示系统状态，使用边缘来表示可能导致状态变化的攻击，这是一种流行的安全分析方法，受到研究人员的广泛关注。一些研究人员使用来源图 （PG） 来描述攻击检测的威胁事件一直是学术界和工业界感兴趣的话题。Fan等[79]通过生成一个描述软件可疑行为的敏感子图来定位背负式恶意软件检测。在隐私保护方面，Sharma et al. [80]提出了一种基于云密码的频谱分析方法，以保护隐私。
图表示学习使用深度神经网络模型来分析具有更好学习能力的图数据，并且具有通过对实体和关系之间的语义进行实际描述来融合知识以实现推理的潜力，而传统的机器学习模型很容易忽视上下文知识，并且难以弥补[81].与通常使用浅层模型的传统表示学习不同，图表示学习使用深度神经网络模型来分析图数据，具有更好的学习能力和融合知识以实现推理的潜力。借助图分析技术，图表示学习在网络安全中得到了广泛的探索。大多数方法使用齐次图，例如结构感知卷积网络（SACN）[82]。将分析知识拆分为多个同构图，导致无法完整准确地描述复杂 APT 攻击的行为。图卷积网络（GCN）[83]、文本卷积网络（Text-GCN）[84]和图注意力网络（GAT）模型[85]提高了威胁分析的表示能力。深度图学习（Deep Graph Learning，简称DGL）是一种应用于图数据的深度学习技术，用于解决图计算中计算效率低、数据稀疏性高的问题。深度图学习包括图表示学习和图神经网络，它们侧重于图表示学习（GRL）或图嵌入（GE），通过将实体和关系映射到低维向量并获取其语义信息[75]。GRL可以有效解决攻击图的节点爆炸问题。学习到的节点表示可以保持图中的结构和特征，并与传统的机器学习完美配合。
（3）异构图表示学习方法
与同质图相比，异构图可以更全面地表示复杂的相关信息，并产生更有意义的研究。针对威胁情报中行为信息挖掘效率低下的问题，该文提出异构图卷积网络（He-GCN）[86]，通过关联语义信息，在缺失信息互补和隐性信息挖掘中发挥重要作用。但是，APT 攻击是隐含且不确定的。这种攻击需要更好地描述，以便使用异构图而不是同构图进行表示和推理[87]。包含不同类型对象的异构图能够表示 APT。节点之间的关系代表不同的含义，元路径是链接节点之间关系的序列。Shi等[88]系统地总结了异构图的应用，提出了一种新的关系结构感知异构信息网络嵌入模型，在相似度量、节点聚类、节点分类、链路预测、推荐等方面采用了最先进的方法。 [89]利用日志信息构建异构图，解决企业内部网络中的威胁检测问题。Hou等[90]利用包含恶意软件和相关API等节点的异构图中的元路径概念来实现恶意软件检测。Fan等[91]构建了文件、机器和API等实体的异构图，并结合了异构图的结构和语义信息来检测恶意软件。Ye 等人。 [92]解决了传统基于行为的检测方法高度依赖训练样本的问题，方法是在异构图中构建一个异构图，包括堆栈溢出用户、标签和代码段节点，使用分类器检测不安全的代码段。
5.3. 威胁分析推理
智能分析推理可以对威胁分析进行补充和更新，其重点是提高威胁行为预测的准确性。基本方法是图算法，例如图相关、图挖掘和图表示。图关联主要使用最短路径和相似度分析方法响应实体、关系和属性特征查询。图挖掘通过图节点聚类、关联发现、重要节点发现和路径挖掘等方式，为知识图谱提供深入的数据洞察。图表示和推理采用端到端设计，例如关系推理模型。关系推理基于图表示学习和图神经网络模型，包括语义推导和关系链接预测，将实体和关系的元素映射到连续向量空间中。每个组件的图学习通过自动捕获表示和推理所需的信息在向量空间中表示。
（1）本体推理方法
本体推理是借助本体方法的逻辑形式实现推理。例如，在威胁情报数据中构建逻辑规则，就是为了实现对攻击行为的推断;使用 SQL 作为逻辑规则的载体，以确定 Android 中的权限配置是否不正确; （Web 本体语言） OWL 和 （语义 Web 规则语言） SWRL 或其他形式语言中定义的规则约束用于构建基于本体的关系推理 [93].与基于规则的方法相比，基于图的推理方法完全用于安全知识中的关联关系，具有丰富的表现力和鲁棒性的特点。
（2）知识推理方法
借助异构图，知识图谱推理方法使用多种关系轻松识别攻击模式。知识图推理重点关注三个问题：（1）如何提高大规模图的推理效率;（2）如何判断攻击路径的严重性;（3）如何将深度学习方法与安全知识图谱相结合。这些问题可以通过优化图生成算法、提高图的计算能力、利用本体结构生成威胁分析模型来解决。
（a）语义推理：语义推理方法包括知识互补和去噪[94]。知识互补利用语义关系来指定任意两个元素，并对缺失的元素进行推理，包括实体预测和关系预测，这些元素可以通过规则或特定的假设得分函数进行计算和维护。突出的作用是扩展威胁画像实体。知识去噪侧重于判断现有三元组的正确性，这些三元组基于已知知识来评估其三元组的有效性。
（b）关系推理：与基于规则的方法相比，关系推理更充分地利用了安全数据的相关性，具有表现力丰富、鲁棒性强、定义简单等特点。关系推理模型由端到端图神经网络模型设计，提供语义推导、关系链接预测等推理结果，通过给定元素形成的三元组实现实体和关系的实用推理和预测，常用的方法有TransE（Translating Embedding）、RESCAL和DistMul[95].TransE不考虑丰富的语义信息，缺乏对空间向量分布位置的进一步调整，也不考虑丰富的关系。在APT攻击场景重构中，应用存在明显的局限性。目前的关系推理易于实现，并应用于单步攻击事件调查。Zhang等[96]提出用因果关系推理来检测隐蔽恶意软件。
（c）路径推理：由于在APT攻击过程中通常需要分析复杂的多步攻击，因此用于多步关系推理的PRA算法（路径排名算法）使用路径作为特征来预测实体之间是否存在指定关系集[97]，例如经典的多步关系推理Path-RNN。路径表示在处理路径中的所有关系后给出了 RNN 的最终隐式状态，一个 RNN 表示每个可能的路径。每个路由节点的实体和连接的边都被矢量化并输入到一个 RNN 单元。整个轨迹的最终向量表示是最后一个 RNN 单元输出的隐藏状态，路径的向量表示类似于要预测的关系的向量表示。相似度最高的是目标路径。该方法基于关联关系推理，已应用于安全知识互补和攻击路径调查。
5.4. 小结
数据关联、融合、表示和推理方法面临的主要挑战是：数据具有巨大的价值，但密度非常低。数据包含许多有用的隐藏信息;它是大规模的、分散的、不集中的、复杂的。近年来，从不同的语义数据中发现潜在的相关关系是被广泛采用的深度学习方法的一个关键问题。深度图学习方法也利用图结构来解决数据关系的丰富性，提高分析结果，但深度图学习计算效率低是主要问题。图表示学习可以为解决这个问题提供思路[98]。APT攻击具有复杂的语义，同构图推理能力有限。后续研究强调使用异构图机器学习方法进行威胁行为解释和推理能力研究。
6. 智能威胁分析的应用
智能威胁分析是一种从数据到知识的统一架构，利用“数据驱动的安全防御”来实现威胁建模、表示和推理。该方法结合了威胁数据和安全知识。威胁画像全面描绘了APT攻击的复杂性，有效降低了攻击的不确定性。它可以提高威胁检测、归因和评估的可信度。这些应用程序专注于改进 APT 防御中的威胁检测、归因和评估，如图 5 所示。
下载：下载高分辨率图片 （434KB）
下载：下载全尺寸图像
图 5.智能威胁分析的应用。
6.1. 智能威胁检测
威胁检测涉及发现 APT 攻击，并通过智能威胁分析来识别未知的攻击活动。APT 具有多步骤、目标性和复杂性，因此具有丰富的安全数据和关系。传统的攻击检测技术没有考虑APT攻击特征的内在相关性、动态变异性和稀疏性。克服这些困难具有挑战性，需要智能方法来实现APT攻击检测。
（1） 威胁发现
根据APT的特点，我们总结了不同数据源的相关方法，以发现APT攻击，如恶意软件、流量、主机审计数据等。
（a） 恶意软件检测器：
近年来，机器学习在威胁检测任务中的应用最广泛。Arp等[99]使用支持向量机（SVM）方法通过收集静态属性特征并将其嵌入到特征向量空间中来检测和分类恶意软件，但结果并不令人满意。深度学习在处理海量数据方面具有显著优势，成为解决大数据问题的较好解决方案[100]。Kim TaeGuen等[101]提出了一种Android恶意软件检测框架，该框架结合了联邦深度学习方法和词向量表示模型。然而，深度学习很难代表异构数据之间的相互关系。许多研究人员提出了新的APT攻击检测方法，例如异构图学习，该方法在解释威胁行为和提高检测准确性方面起着至关重要的作用。图模型比序列模型具有更好的表示形式。它被广泛用于复杂的相关关系。Han 等人。 [102]提出了一个APT恶意软件检测框架，该框架具有系统调用信息和本体图，以构建威胁数据的内在相关性，并从各个方面建立威胁事件之间的联系。它在检测 APT 攻击方面具有显着优势。
（b） 交通侦测器：
Lu等[103]提出了一种基于APT恶意流量和常规流量差异的自动关联检测系统，提取流量特征和序列特征，并使用机器学习算法检测APT攻击。Gonzalo 等人。 [104]提出了一套没有专家经验的恶意流量识别方法，该方法采用多层神经网络来检测攻击。传统的基于签名的僵尸网络检测方法需要识别复杂的指令控制流。Wang et al. [105]提出了一种基于图和流的网络流量行为混合分析方法，以实现对僵尸网络的自动监控。玛格丽特等人。 [106] 提出了一种监督学习方法，在APT攻击中通过网络流量检测值得注意的特洛伊木马感染的主机。
（c） 审计数据检测器：
机器学习需要从专家那里提取特征，存在特征可靠性和稀疏性问题的缺点，影响准确性。江 等. [107]提出了一种基于长短期记忆循环神经网络（LSTM-RNNs）的多通道智能攻击检测方法，用于检测用户侧生成行为的行为特征。深度学习算法对于多源异构数据无效。APT攻击和安全数据急剧增加，深度学习算法面临重大挑战。Zhang等[108]提出了一种基于深度学习的行为特征探索方法。然而，它们在APT攻击中仍存在局限性，主要体现在无法对信息进行快速过滤和关联，以及未能及时发现和定位攻击活动。
（d） 网络威胁情报检测器：
Sadegh M等[109]提出了Poirot，利用网络威胁情报（CTI）关联来检测APT攻击行为，以进行网络威胁搜寻。随后，Sadegh M.等[110]提出HOLMES结合了杀伤链和ATT&CK框架，以利用网络威胁情报（CTI）之间的相关性来检测APT攻击。它通过Mitre的ATT&CK框架将日志数据映射到TTP，该框架描述了近200种行为模式。Kiavash Satvat等[111]提出了EXTRACTOR，利用自然语言处理（NLP）从CTI报告中准确地提取攻击行为。
（2） 威胁意识
大多数检测器无法完全准确地描述 APT 攻击的复杂行为。但是，威胁感知通过监控和分析可能对系统和网络造成危害的潜在威胁或漏洞来识别未知的 APT 威胁。威胁感知必须了解有关更新、补丁、漏洞、缓解措施和漏洞利用的最新动态，以充分保护关键基础设施。Fernando Alves等[112]提出，SYNAPSE可以创建一个主动威胁监视器，概述需要更多关注的潜在威胁。Javier Franco等[113]引入了蜜罐来收集系统和网络的漏洞和弱点。威胁感知需要更全面地模拟网络安全环境中复杂的动态关联，更有利于研究威胁检测的高级威胁行为。异构图可以将孤立的、隐藏的、动态的、稀疏的威胁行为关联起来，转化为不同节点和边的图，提高威胁感知的准确性。
6.2. 智能威胁归因
威胁归因旨在通过智能威胁分析来识别和归因 APT 攻击活动。归因理论是由社会心理学家海德于1958年提出的，它指的是分析行为并推断原因。《网络归因指南》显示，归因依赖于五个指标：TTP、IOC、恶意软件、攻击意图和外部数据[114]。研究人员从不同的数据源中提取了行为特征，并根据这些指标对 APT 攻击进行了归因。本文将威胁归因重点放在基于收集到的威胁数据的基础上，对APT攻击事件进行回顾性分析，以帮助快速识别攻击意图和攻击者。威胁归因包括被动和主动归因。被动归因使用日志、流量以及攻击者公开的其他数据和线索来恢复攻击过程。主动归因使用外部数据或蜜罐环境从攻击者那里收集线索，并突出攻击者的 TTP 特征。在大多数情况下，归因分析需要在不确定的条件下进行。因此，智能威胁分析有助于自动归因分析。
（1） 威胁识别
数据挖掘技术是从海量数据中挖掘和关联攻击者的历史信息，提取威胁行为者的行为模式，并根据攻击状态传递概率预测攻击意图。威胁搜寻有助于融合威胁线索，并将攻击过程归因于了解威胁的意图和目标。基于序列和基于图形的方法通常用于威胁识别。然而，序列方法有一个共同的缺点，即很容易干扰和篡改这些特征，因此在对抗环境中效果较差。智能威胁分析会自动使用知识图谱来关联攻击目标和事件，以解决这些问题。
（2） 威胁归因
威胁归因是使用深度图神经网络结合大量外部数据来执行的，以识别恶意软件和威胁参与者。威胁情报是 APT 归因的重要数据源，与其他数据相比，APT 归因在语义上更丰富，更专注于攻击的“证据链”，从而可以更全面、更准确地归因 APT 攻击。Rastogi等[115]提出了恶意软件本体模型MALONT，该模型允许提取结构化信息，并从包含数百个带有注释的恶意软件威胁报告的语料库中生成知识图谱。该模型支持对恶意软件引起的网络威胁进行检测、分类和归因。Noor等[116]提供了APT国家归因分类器，并使用深度神经网络（DNN）将APT攻击归因到国家。行业研究将恶意软件同源识别和关联相结合，用于威胁归因。Qamar 等人。 [117] 利用威胁情报的自动分析，挖掘APT攻击者的攻击行为，提取攻击事件报告的TTP，帮助安全分析师了解APT攻击的攻击过程。
6.3. 智能威胁响应
威胁响应在智能防御中至关重要，智能防御涉及通过智能威胁分析进行威胁评估和预测。智能威胁评估通过建立网络攻防框架，将威胁模型与防御资源融为一体，计算攻击的受损影响，实现对抗环境下关键资产的针对性防护。语义信息在智能威胁预测中起着至关重要的作用，捕获语义信息可以实现从感知智能到认知智能的过渡[118]。智能威胁预测主要是从海量攻击数据中提取关键信息，挖掘威胁行为，实现攻击意图的推理，进行态势感知，主要表现在以下几个方面：
（1） 威胁评估
威胁评估包括建立态势评估体系和计算态势指数。通过设置对抗环境下的态势评估系统，提升了威胁评估的准确性和有效性[119];
（2） 威胁预测
威胁预测中的机器学习方法具有拟合非线性时间序列数据的可靠能力。许多研究人员已经应用它们来预测威胁行为，并取得了良好的结果，主要使用支持向量机、遗传算法和深度神经网络。其优点是具有自学习能力和中短期预测的高精度[120]。然而，存在一些局限性，如支持向量机的算法性能容易受到临界参数、惩罚参数和不敏感损失参数的影响;深度神经网络的泛化能力较弱，容易陷入局部最小值;现有的预测方法没有充分考虑攻击的及时性，预测算法相对简单，可解释性较差，因此预测结果不完整，效果不佳。
6.4. 小结
机器学习和深度学习得到了广泛的应用，威胁检测、归因和感知方面的研究也取得了进展。深度图学习对 APT 攻击的内在相关性具有重要影响。然而，它们仅限于同构图，无法有效处理复杂、对抗性和动态的攻击数据。恶意软件的稀疏性、隐藏的攻击行为和攻击特征的可变性需要异构图来模拟攻击特征与攻击行为之间的相关性。深度异构图学习的研究对于智能威胁分析至关重要。
7. 挑战和未来方向
7.1. 挑战
智能威胁分析的研究正处于发展阶段。本部分讨论了在数据、方法和应用方面应对智能威胁分析挑战的迫切需要[121]。
（1） 数据
它需要重点解决原始数据、威胁情报和安全知识之间的大规模数据关联问题，容易导致依赖爆发：
（a）由于数据环境多源异构，智能威胁分析缺乏对不同解决方案的研究，以应对数据稀疏、不平衡、APT攻击不足等问题;
（b） 另一方面，依赖爆炸问题是由现有数据收集和建模技术的局限性引起的，实体间信息的指数爆炸导致信息的扩散。
（2） 方法
现有研究在语义融合、威胁行为感知和威胁推理方面能力较差。由于APT防御领域需求差异很大，智能威胁分析方法在认知和管理两方面都面临新的挑战，例如深度图表示学习方法可以有效地学习攻击行为、攻击源和攻击之间的潜在关系，但缺乏可解释性和评估机制。
（a）近年来，知识表示学习能够有效地实现低维空间中计算实体和关系的语义联系。但是，知识表示面临许多困难。例如，计算效率和数据稀疏性问题是挑战;
（b）语义差距问题主要是不同来源的数据导致语义对齐困难，可以利用知识图谱的语义消歧技术。但要实现跨源、跨维度的知识推理，仍需有效的语义学习机制。
（3） 应用
（a） 在基于域的一般语料库上训练的分析模型不适用于专门的安全领域，这是阻碍大规模应用威胁分析的主要挑战;
（b） 不明身份的攻击和使用定制武器对APT攻击的归属构成挑战;
（c） 缺乏突破性研究来识别和发现APT攻击不同攻击场景中的攻击行为模式。
7.2. 未来方向
随着网络攻防对抗态势的不断升级和演变，攻防技术亟需与人工智能技术深度协同，共同实现认知智能。威胁分析的自动化和智能化是发展智能网络安全技术的必然趋势。智能威胁画像对于攻击场景重构、攻击行为预测、攻击态势感知和攻击意图推理等智能安全至关重要。通过分析当前面临的挑战，智能威胁分析在APT防御中的机遇主要体现在防御思想和方法的创新和转化上。下面讨论这一技术方向的趋势[121]：
（1） 数据
大规模多源数据的自动化处理和语义融合是基础研究的发展趋势。一方面，需要实现基于自然语言处理和知识图谱的更加自动化的实体、关系、属性提取方法，以满足数据处理的高实时性、高覆盖率和高容错性。另一方面，需要在质量评估、语义对齐、信息压缩等方面提高数据融合的质量，避免后续建模推理中出现信息冗余、信息失效、信息模糊等误导。
（2）方法
知识图谱表示和推理方法具有解决APT难点的挑战。然而，异构图表示和推理方法对于实现异构知识的统一表示至关重要。深度图表示学习的迁移方法值得研究。
（3）应用：
（a） 未知攻击检测和发现的研究仍处于起步阶段，需要进一步研究。（b） 数据共享和隐私保护研究对于实现智能威胁分析至关重要。（c）利用对抗性学习来增加模型的鲁棒性，提高大数据环境下的分析效率是本研究的重点。
8. 结论
智能威胁分析侧重于研究 APT 攻击活动中多源异构数据的复杂关系。通过分析安全数据的内在相关性，智能威胁画像可以呈现孤立、隐藏、动态和稀疏的特征，挖掘APT的攻击模式。为实现多源异构数据分析、深度挖掘和威胁行为模式推理提供新思路。本文从多源数据、关键方法和典型应用三个方面系统地总结了智能威胁分析。知识图谱和深度学习相关算法作为必备技术，可以提高APT防御中威胁分析的有效性。知识图谱可以为威胁行为感知和预测提供技术基础，并有助于改进威胁行为模式的表示。深度学习可以增强实体和关系的提取、表示和推理。最后，讨论了智能威胁分析在APT防御中的挑战和潜力。目前，智能威胁分析在解决复杂的语义分析和挖掘行为模式方面发挥着至关重要的作用，但在威胁行为感知和推理方面存在局限性。异构图学习技术进一步挖掘了这些方面的巨大潜力。本文指出了这一研究方向的未来发展方向，希望能促进该领域的不断发展和进步。
版权声明：本文为博主作者：是Yu欸原创文章，版权归属原作者，如果侵权，请联系我们删除！
原文链接：https://blog.csdn.net/wtyuong/article/details/136531117
