引用维基百科的说法，”可观测性 “源于控制理论，它衡量的是一个系统的状态能从其输出中确定的程度。 同样，在软件中，可观察性是指我们能从获得的遥测数据（包括度量、日志、跟踪和剖析）中了解系统状态的程度。

当前的可见性和监控缺乏行为智能

传统监控通常用于可视化监控和识别与应用程序、网络和端点有关的问题，涉及性能、健康状况、用户体验、安全性和弹性。 警报与监控相结合，可通过电子邮件、短信和仪表板及时通知关键事件。 这种由 APM、NPM 和 SIEM 使用的传统监控方式是在 “已知未知 “的情况下运行的，即风险是事先已知的，但具体的发生时间仍然未知。 对于实体数量有限的简单系统，这样的监控就足够了，故障排除简单明了。 然而，随着分布式应用、多云部署、边缘计算以及与众多合作伙伴的协作应用等多种架构的出现，企业系统变得越来越复杂。 此外，与这些架构相关的攻击面扩大，使得传统的监控和更简单的相关性变得不足。 仅仅解决 “已知的未知因素 “是不够的。 可观察性平台通过识别以前未曾考虑过的意外风险实现了飞跃。 这些平台旨在处理 “未知的未知因素”，并通过深入了解系统的性能、健康状况、安全性和行为，提供更快、更准确的故障诊断和调试。 这篇文章将重点讨论通过从 SASE（安全接入服务边缘）网络和安全组件收集的输入优化实现的可观测性。 具体来说，我们探讨了与行为异常相关的可观测性用例，以识别用户、网络、应用实体和互联网访问的异常行为。 可观测性平台在很大程度上依赖于其接收到的输入数据的质量。 在此背景下，我们将深入探讨 SASE 解决方案如何以日志、指标和跟踪的形式提供丰富的数据，以及可观测性系统如何利用这些数据来解决各种用例。 通过利用 SASE 解决方案的洞察力，可观测性解决方案可增强其功能，从而改进监控、主动风险检测和强大的系统分析。 将 SASE 和可观测性结合起来，可为有效监控和保护现代企业系统提供一个强大的框架。

SIEM、NPM、NDR、APM、XDR – 异常检测有限

如今，可视性和监控工具层出不穷，且各具特色。 然而，它们也有一定的局限性，主要是基于行为的异常检测和有限的事件相关性，这阻碍了它们提供深入可见性和根本原因分析的能力。 我们认为，这些工具最终应包括行为分析/预测分析和更深入的可视性，以满足性能、安全和弹性系统的要求。 为了实现完整性，增加用户和实体行为分析 (UEBA) 功能对这些工具来说至关重要。 此外，我们坚信，要成功实现可观测性，就必须提高相关能力。 为了实现更好的关联，需要从网络设备、安全设备、身份识别系统和应用基础架构中获取相关数据。 然而，由于日志内容、指标以及日志模式和格式各不相同，要在不同供应商的设备和系统中始终如一地获取这些信息是一项挑战。 最大的挑战是综合分析所需的信息不一致和缺失。 统一 SASE 将来自单一供应商的多种网络和安全功能统一在一个具有凝聚力的架构下，可以减轻这些工具在相关性和行为分析方面的负担–这将在后面的章节中详细介绍。 让我们深入了解 UEBA，探索统一 SASE 的数据平面所需的日志和指标类型。

用户和实体行为分析

网络安全行业创造了 “用户和实体行为分析”（UEBA）这一术语。 它是指监控和分析组织网络内用户（如员工、承包商和合作伙伴）和实体（如设备、应用程序和网络）的行为，以检测异常或可疑活动。 UEBA 解决方案通常使用高级分析和机器学习（AI/ML）技术，为每个用户和实体建立正常行为基线。 基线一旦建立，系统就会不断将实时行为与此基线进行比较，以检测可能表明潜在安全威胁或异常活动的偏差或异常。 同样重要的是，基线会随时间不断变化，因此需要更新基线并进行相应的持续模型训练。 UEBA 旨在识别传统安全措施可能无法发现的异常模式或行为，帮助企业检测内部威胁、外泄账户、未经授权的访问和其他可疑活动。 通过分析行为，UEBA 可以提供更多的背景信息，并深入了解潜在的安全事件，使安全团队能够及时有效地做出响应。 尽管 UEBA 是在网络安全的背景下定义的，但行为异常检测并不局限于网络安全，而是适用于应用和网络等实体的性能方面。 一些业内人士认为，只有将 UEBA 纳入其产品中，零信任架构 (ZTA) 的实现（无论是采用服务网格还是 SASE 技术）才算完成，我对此表示赞同。 既然 UEBA 谈到了异常，那么让我们先了解一下 “异常检测”、不同类型的异常以及用于检测异常的技术。

网络安全异常检测

这篇博文 “什么是异常检测？“对异常检测作了很好的概述。 简单来说，异常检测就是在数据集中识别异常点或异常模式。 在预定的容差范围内，任何偏离既定基线的情况都被视为异常。 异常情况可能是良性的，也可能是令人担忧的，而检测恶意异常情况则是网络安全行业的重中之重。 无监督异常检测对网络安全尤为重要，因为它可以帮助识别以前未曾见过的事件，而无需依赖先前的知识。 换句话说，这种无监督方法对于检测安全威胁中的 “未知未知因素 “至关重要。 异常检测可采用多种技术，有时利用统计工具，有时需要机器学习算法。 用于异常检测的两种常用机器学习算法是

  • 聚类：聚类是一种根据数据点的相似性或距离对数据点进行分组的技术。 在聚类过程中，可以通过检测不属于任何聚类或与其最近的聚类中心相距甚远的数据点来识别异常。 聚类算法的例子包括 K-means。
  • 密度估计密度估计是一种估算数据概率分布的技术。 通过密度估计，可以发现概率密度低或位于低密度区域的数据点，从而检测出异常。 常见的密度估计算法包括隔离林、核密度估计等。

由于许多监控系统已经支持描述性分析，我们在此不再赘述。 这里的重点是行为分析，它是预测分析的一个分支。 如前所述，异常检测与网络安全息息相关，因此我们将在此介绍异常检测。 一些异常检测实例有助于了解 SASE 解决方案所需的信息类型，特别是用户和实体行为分析 (UEBA) 和一般可观测性。 在下面的章节中，我们将提供网络安全和网络行业所需的异常检测。 如前所述，同样重要的是要有一个具有多种特征的通用异常检测系统，以识别任何事先不知道的检测类型。 识别未知检测类型的一个重要考虑因素是输入日志和度量数据必须全面。 以下是异常检测的几个示例：用户行为异常：

  • 用户从不同于其正常模式的地点访问互联网、SaaS 和企业应用程序。
  • 与正常使用模式相比，用户在不寻常的时间使用服务。
  • 用户在短时间内从多个地点访问应用程序，这似乎难以置信。
  • 用户通过匿名代理访问服务，引发安全问题。
  • 用户从可能与恶意活动有关的可疑 IP 地址访问服务。
  • 用户访问可疑域或 URL，表明存在潜在安全威胁。
  • 用户下载/上传文件的行为不正常，应引起注意。
  • 用户对应用程序、互联网网站或 SaaS 应用程序的访问表现异常。

异常用户活动：

  • 用户登录次数异常，这可能表明用户证书被泄露或试图进行未经授权的访问。
  • 登录失败次数异常，表明可能存在暴力破解攻击或身份验证问题。
  • 对各种应用程序 URI 的异常访问，可能需要进一步调查。
  • 来自特定用户或全局用户的远程访问 VPN 通道数量异常。

应用程序访问异常：

  • 陌生用户访问应用程序，需要验证其合法性。
  • 用户对应用程序内不同部分或空间的异常访问。
  • 用户异常下载/上传数据，可能表明数据外泄或未经授权的数据传输。
  • 从以前从未见过的地点进入，这可能会引起安全问题。
  • 用户或特定用户在意外时间异常访问应用程序，需要进行调查。
  • 来自互联网服务提供商的异常访问以前从未见过，这可能表明存在可疑活动。
  • 在访问应用程序资源时检测异常 HTTP 请求头。
  • 在访问应用程序资源时检测异常 URI 长度。
  • 不寻常地使用不同的用户代理，这可能与恶意意图有关。
  • HTTP 级事务的异常延迟。

网络异常：请注意，互联网被视为网络之一。

  • 特定网络中传入流量、传出流量或其综合值的异常情况。
  • 不同协议组的流量异常。
  • 网络资源连接数异常。
  • 网络资源交易数量异常。
  • 每个连接的交易数量异常。
  • 访问网络资源时的延迟异常。
  • 网络间的流量异常。

威胁异常：

  • 可疑 IP 地址的会话数量异常，表明可能有人试图与恶意实体通信。
  • 可疑域名的会话次数出现异常，这可能意味着与不可靠或受威胁的域名有联系。
  • 可疑 URL 的会话次数异常，指向网络流量中的潜在威胁。
  • 受恶意软件感染文件的下载/上传数量异常，突显潜在的网络攻击。
  • 未经授权或恶意 SaaS 和云服务的会话数量异常。
  • 被拒绝的会话数量出现异常，这可能表明安全措施正在发挥作用。
  • 被拒绝的交易数量异常，表明可能存在安全威胁或欺诈活动。

使用 UEBA 的可观测平台往往能提供上述探测结果。 对于未知风险，可采用通用聚类模型来检测任何应予监测的新异常情况。 这种通用模型应包含多种功能。 由于上述大多数异常情况都需要基线数据才能准确识别，因此可观测性平台启用学习模式至关重要。 有时，学习可以是动态的，允许配置根据过去 X 天的数据检查当天的异常情况。 鉴于可能需要多个模型，可观测性平台需要具有可扩展性，能够处理训练和容纳多个模型的负载。

准确的威胁情报

准确的行为威胁异常检测依赖于威胁情报提供商提供的最新信息。 虽然 SASE 系统能在通信时进行初步威胁检测，但当时收集的威胁情报可能已经过时。 威胁情报提供商会持续评估 IP 地址、域名、URL、文件、SaaS 服务的声誉得分，并根据最新信息更新其信息源。 然而，这可能会造成实际威胁出现与威胁情报更新之间的时间差。 因此，在这些馈送更新之前发生的任何连接或事务都可能导致数据平面丢失正确的流量分类。 为了应对这一挑战，基于 UEBA 的可观察性平台会主动持续检查以前的访问，并利用新的威胁情报来增强数据。 然后，这些平台会向 IT 威胁猎杀团队通报情报的变化，使威胁猎杀人员能够深入研究潜在威胁。

统一 SASE 可精确汇总日志、度量和跟踪信息

任何分析（包括描述性、预测性、诊断性和规范性分析）的全面性和准确性都在很大程度上取决于可观察性平台所接收日志的质量。 这正是统一 SASE 解决方案的真正优势所在。 传统的可观察性平台依赖于来自不同供应商系统的日志和指标，如防火墙设备、UTM 设备、应用程序、身份服务、Web 应用程序防火墙、IDS/IPS 系统、DNS 安全系统等。 然而，管理来自多个供应商的日志会带来一些挑战：

  • 日志信息不足。
  • 不同的日志格式/模式。
  • 供应商不断更改日志信息和格式。
  • 难以将网络/安全设备的日志与特定流量会话、用户或应用程序持续关联起来。
  • 大量日志信息重复，导致日志炸弹和日志丢失。
  • 日志关联和处理大量日志所需的计算能力过高。

SASE 解决方案通过综合方法有效地应对了这些挑战。 SASE 将多种网络和网络安全功能整合为一项服务，作为综合解决方案提供。 不过，必须谨慎行事，因为 SASE 解决方案可以通过多种方式构建。 单一供应商 SASE 服务虽然是由一个供应商提供的组合产品，但可能由多个组件供应商提供的独立安全和网络组件组成。 因此，来自此类单一供应商 SASE 解决方案的日志和指标可能会面临类似的挑战。 相比之下，统一 SASE 解决方案通常以统一、全面的数据平面形式交付，遵循单通道架构和运行到完成架构的原则。 这意味着统一 SASE 可以全面了解每个会话或事务以及所应用的相关安全功能。 因此，Unified SASE 解决方案只为每个文件、事务或会话生成一个日志，其中包含所有必要信息。 例如，统一 SASE 访问日志包括全面的详细信息，如

  • 5 元组信息（源 IP、目标 IP、协议、源端口和目标端口）
  • 会话/交易的开始时间和结束时间
  • TLS 连接情况下的域名
  • 如果是 HTTP 交易，主机头值和 URL 路径
  • 连接是否安全（TLS）
  • HTTP 方法（GET/POST/DELETE/PUT）、URI 查询参数以及 HTTP 请求和响应标头和值，主要是以 X- 开头的标头。
  • 文件哈希值（如果在一个 HTTP 事务中发送了多个文件，则可能存在多个访问日志）
  • 从客户端发送到服务器的字节数，反之亦然
  • 应用的访问策略和安全策略，以及流量会话中的策略详情和匹配值，如用户要求（委托人姓名、组、角色、验证服务、发行人）、IP 信誉类别和得分、域类别和信誉得分、URI 类别和信誉得分、SaaS 服务类别和信誉得分以及采取的行动。 值得注意的是，多个安全引擎可为访问任何会话或交易提供同意。 这些安全引擎包括 IP 信誉引擎、域名信誉引擎、URL 信誉引擎、SaaS 信誉引擎、访问控制引擎、反恶意软件引擎、IDPS 引擎等。 每个安全引擎都会应用自己的一套策略，并根据结果采取适当的行动。 由于存在不同的引擎，每个引擎都有自己的策略表和来自流量或流量增量的独特匹配值集，因此有必要记录匹配策略名称和导致策略匹配的参数。

访问日志在可观察性平台中发挥着至关重要的作用，可实现准确的分析。 然而，其他日志对于可观测性平台同样重要，”统一 SASE “解决方案开箱即提供这些日志。 这些日志有助于增强平台的综合洞察能力。 统一 SASE 解决方案提供的一些重要日志包括

  • 通过身份代理功能记录与用户登录和退出相关的日志。
  • 与用户登录失败有关的日志，有助于监控潜在的安全威胁。
  • 与用户登录相关的日志，包含全面的用户索赔信息，包括
    • 用户电子邮件地址
    • 发行人（身份供应商）
    • 用户所属的多个组和角色
    • 验证用户身份的验证服务
    • 是否应用了多因素身份验证 (MFA)
    • 用户登录的源 IP
    • 用户应用程序使用的验证协议
    • 用户登录的地点

包括用户身份验证相关日志和访问日志可为可观察性平台提供有价值的输入，从而有效识别行为异常。 此外，只要检测到任何威胁，如恶意软件、漏洞或可疑活动，统一 SASE 解决方案都会提供日志。 这些日志包括 5 个元组信息（源 IP、目标 IP、协议、源端口、目标端口）、日期/时间以及威胁检测时的已知用户请求信息。 这有助于将威胁与观察到威胁的会话或交易关联起来，从而帮助事件响应和缓解。 虽然我们不在这里讨论它们，但与 SASE 系统内核、进程、容器和硬件相关的许多其他日志都有助于诊断分析。 除了生成日志，Unified SASE 解决方案还提供各种指标，包括计数器、仪表和柱状图。 通过提供 SASE 架构不同组件的可见性，这些指标在识别统计异常和故障排除方面非常有价值。 总之，不同类型的日志，包括访问日志、身份验证相关日志、威胁日志和诊断日志，以及 Unified SASE 提供的各种类型的指标，有助于可观察性平台不仅提供描述性和诊断性分析，还提供行为/预测性分析。

统一 SASE 和集成可观测性是相辅相成的。

如上所述，Unified SASE 凭借其丰富的导出数据集支持各种分析工具而脱颖而出。 我们还认识到，统一 SASE 解决方案将包含一个全面的可观测性平台，其中包括各种分析，特别是前面所述的行为分析。 在最初阶段，集成的可观察性平台主要局限于 SASE 解决方案，端到端可观察性通常依赖于 Splunk、Datadog、Elastic、New Relic 和端到端威胁 XDR 平台的可观察性服务。 实质上，Unified SASE 集成了自己的综合可观测性平台，同时为各种外部可观测性工具提供高质量的日志和指标。

统一 SASE 是提高可观测能力的关键。

在复杂的企业环境中，传统的监控和可视性工具存在不足，这些环境的特点包括分布式员工、多云/边缘应用部署、多种 SaaS 服务的广泛使用、不断扩大的威胁环境以及基于微服务的应用架构。 依赖各种网络、安全和应用程序来源的日志和指标，往往会妨碍这些工具提供可操作的见解以及高效的关联和根本原因分析能力。 当务之急是 “可观察性”。 许多传统分析供应商已开始利用 UEBA 等可观察性功能和相关异常检测功能来增强其产品。 然而，这些分析工具的有效性在很大程度上取决于它们所收到的日志和指标的质量。 统一 SASE 有可能克服为所有类型的分析（包括行为分析）生成全面、高质量日志方面的挑战。 通过提供统一的方法和全面的数据输出，Unified SASE 可以显著增强组织的可观察能力，促进主动的威胁检测、精确的分析和更好的决策。 Unified SASE 集成了多种分析工具和可观察性功能，为应对现代企业环境的复杂性和加强网络安全防御提供了强大的解决方案。

  • CTO Insights 博客

    Aryaka CTO Insights博客系列提供有关网络、安全和SASE主题的思想领导。
    有关Aryaka产品规格，请参阅Aryaka数据表。