【含PPT】《情报困局-探索如何解决发现未知风险问题

随着网络的普及，网络已经渗透到生活的方方面面，网络安全也就越来越重要，如何快速发现来自包括国家和各种组织以及激进黑客或者“独狼”似的潜在罪犯，广泛存在的意图渗透网络进而窃取、修改或者破坏数据的各种潜在网络威胁，成为网络安全守护者必须面对的难题。

低成本高效率的防范这些威胁是大家共同的目标。

智能情报分析则是对抗这些网络威胁越来越重要的一种手段，能够使安全人员更好的了解所面临的攻击类型，全面评估潜在对手的网络攻击能力及其意图和当前的安全态势。

早在2013年，美国情报和轨迹安全联盟（INSA）的网络情报工作团队就提出了实施网络智能战术的基本思路和方法。

其中智能评估网络信息安全成熟度是其中一个重要内容，及利用网络智能在战术层面检查网络上正在发生的事情，重点关注本组织的网络防御优势和脆弱性，以及策略、技术和潜在对手使用的程序。

网络智能评估可监视多个威胁数据源并可与其他公司和组织共享威胁情报，可为网络管理员提供关键反馈，帮助他们及时了解网络安全态势。

经阿里安全威胁情报中心的专家王云翔（instruder）授权同意，今天在这里给大家推荐他9月4日发布在微博里的一篇文章：

《情报困局-探索如何解决发现未知风险问题 —降维》

原文：

困局

阿里安全情报团队自从15年成立以来，面临整个阿里经济体复杂业务上寄生的各种黑灰色产业，各种不同的黑灰产催生出不同的业务风险，如撞库、数据窃取、ddos攻击、黄牛抢购、营销活动薅羊毛、刷单炒信、钓鱼诈骗、流量劫持等等。

这意味着情报需要针对这些不同种类的风险都需要有所应对，老板经常问到情报的一个核心问题：情报如何才能做到发现未知风险？第一时间听到这句话的时候，让我想起了黑天鹅事件（黑天鹅事件指非常难以预测，且不寻常的事件，通常会引起市场连锁负面反应甚至颠覆）。“黑天鹅”事件是指满足以下三个特点的事件：

第一，它具有意外性。

第二，它产生重大影响。

第三，虽然它具有意外性，但人的本性促使我们在事后为它的发生编造理由，并且或多或少认为它是可解释和可预测的（以上抄自MBA 百科）。

对于企业安全风险管控来说，一直寄希望于避免或者降低出现黑天鹅事件风险出现，因此有的时候就将这个“锅“扔给情报（我选择go die）。

在情报发展的历程中，16年，曾经出现过一次类似黑天鹅事件的重大风险。基于黑天鹅的第三特性以及情报临危受命，就开始就着这一个重大风险搞起一个专项，尝试去解决发现未知重大风险。从开始的立项、到事件论证分析、到组织调整、研发数据投入也搞的热火朝天。最后发现几个事情，一个是其实这个风险本身很早就有各种线索、投诉，而且持续存在，只是最终在由个案牵出时发现整体的产业规模非常之大、影响之广让大家为之震惊。因此问题关键在于何时能够监控到事件的规模达到一定的程度，过早大家对这个事件的危害没有感知，太迟了事件爆掉了也不行。情报需要在这个临界点之前监测到并且上报，并且阐述整体风险的规模、风险上升的速度、预测才能引起上层重视从而作出决策。二是针对这个具体的“黑天鹅”事件来做分析、模型、监测也只能解决跟这一类的安全风险问题，也解决不了发现其他未知风险的问题。

那么基于已经出现的风险来做发现不了未知风险，那么单纯从各种异常来做呢，不设定具体的风险域，这一条路可行么？情报在17年也是经过尝试的。从内外部各种异常收集回来，通过数据分析、模型来尝试挖掘之前未曾发现的风险。最后发现直接从异常着手，是很难运营并且很难与具体某一类风险关联的，每一个异常都需要情报分析的同学深入背后溯源调查才有可能发现背后真实原因。这里有一个异常的真实案例，某天出现某个接口的机器pv暴增，甚至导致正常业务都快瘫痪，但是单单从这个接口的pv去分析根本找不到背后的原因。最后某天通过外部的一些情报维度分析发现原来这次的爆表机器PV同这个情报关联的，这条从异常到风险之路路也困难重重最终放弃。

降维

情报在这条路上一直探索如何去解，回归发现“未知“风险这一句话，我们还是需要细细拆解研究的。先来阐述这个“风险”，对一个互联网企业来说来自不同维度的风险是非常之多的，有来自政策、监管层面的风险，来自竞对手的自身优势业务的布局、打压风险、负面黑PR风险，有来自消费者、商家的投诉不满、舆情升级风险，有来自各种黑灰产造成平台资损、商业业务经营秩序环境被扰乱伤害、数据泄露、以及各种原因导致的消费者、商家被诈骗的风险。情报团队重点focus在黑灰产领域的情报，这个领域的风险理论是可以梳理完整的，这里绘制了一张我们当前主要面临的黑灰产风险大图：

这里只是从大类上进行分类，每一个大类下面又会又细分的小类，如通信诈骗，子种类又是繁多的。

在来一起看看“未知”这个关键字解读，“未知“一个很哲学的词语，曾经甚至有业务提出要求情报发现我未知的风险，然后呢已知什么是不会告诉你的，去要一些异常数据的时候说只要给我我未知的就行，这些都是已知异常拿过去没有用不给，这里我只能拿这张图来表示我的心情：

这里我想把“未知“这个词限定在针对已知风险域下面出现的新的未知风险，而未知风险域类似黑天鹅事件，本身是无法预料的，更难针对一个谁都不知道的事情去做情报，情报一定是要有明确对手的。如果大家能够一致认可将”未知“限定在针对已知风险域下面出现的新的未知风险，那么就可以继续开展下去了，如果不能认可，那只能选择

如果针对已知风险域下面出现的新的未知风险来做情报的话，需要重点关注2个维度，一个维度是出现新型的攻击手法、漏洞、软件，另外一个维度是风险能够持续的监控、评估规模，能够在规模化被利用的时候及时发出预警。

最终问题降维，从发现未知（风险域）的未知风险，转变到从已知（风险域）发现未知风险。这就意味情报需要对梳理的企业需要面对的黑灰产风险域做到全覆盖，能够对每个风险能够看清大盘，监控风险规模。但是这在有限的人力、情报能力的制约、黑灰产持续的动态对抗下这也是一个难题需要思考怎么解，这里面每一个黑灰产对应的风险想要看清楚也需要很大的代价持续深耕的。

解法

在降维这一思路的前提下，针对上面提到的难题目前也有一些清晰的思路和降低难度的解法。

一个是缘由情报的拼图属性，情报从外部视角、对手视角，通过信源获取获取到的各种维度数据、异常、加工分析、建模，数据并不完整，但不影响从这些碎片拼图中去评估、看清真正的大盘风险。比如下面几张比较形象的dog图：

碎片

拼图

全貌

因此情报如果针对每个风险域找到关键的一些抓手，能够做到40-50%的风险水位监控，其实理论上能做到前面提到的2个重点关注的维度（新的手法、漏洞，规模化利用上升）。

另外一个关键需要解决不同风险域之间的能力抽象、共建，快速适配新的不同风险接入，有限的人力下这是一个必须要能够解决的问题。目前情报通过重点打造报针对不同风险域的抓手、路径、能力抽象成能力块，类似乐高积木的方式。在新的风险域能够快速接入已有的能力组件，情报分析人员只需要针对这个风险域场景特有的一些维度研究，并编写能力组件添加平台即可。平台将这些不同的能力组件进行瓶装，从而完成对一个风险域情报视角的刻画。只有这样才有可能解决在有限的人力面对多个风险快速介入，并且能够评估。我们内部把这个叫TiBlokcs，TiBlocks是情报平台的中台核心能力，设计思想同现在业界比较火的自动编排产品有点类似。