大数据分析——信息安全下一站
发布时间:2015-05-06   作者:中计报 程彦博

2012年3月,Gartner在一份报告中明确指出——信息安全正在成为一个大数据分析问题。

 
诚然,安全威胁千变万化,特别是近年来APT攻击等新型安全威胁的出现,让企业、非盈利组织乃至政府机构等攻击目标防不胜防。攻击方总是想尽办法突破原有的攻击思路,创新攻击技术和手段,从而达到攻陷对手的目的。而防守方面对变化莫测、创新不断的攻击,很难找到统一的、行之有效的方案,来主动应对威胁。更多的时候,他们只能头痛医头脚痛医脚,被动挨打。


真的没有这样的方案吗?


答案并非如此。


曙光已至


正如Gartner指出的那样,大数据分析或许就是这样一个方案。大数据分析的巨大价值,不仅可以用于为消费者画像,帮助企业进行精准营销。它同样可以用于为攻击者画像,从而主动预测、识别、防范攻击,抢先进行处置。


与沙箱等被动的防护方式不同,如果通过大数据分析真的能把隐匿在数据海洋中的攻击者或者潜在攻击者“揪”出来,那么攻击方在暗处,防守方在明处,攻击方主动,防守方被动,攻击方出招,防守方只能接招的不利局面将被彻底扭转。


面对一丝曙色,我们有理由相信,大数据分析不仅为信息安全防护提供一个新的思路,它还有可能改变整个信息安全产业。


启明星辰泰合产品本部产品总监叶蓬认为,大数据分析技术能够给网络与信息安全带来全新的技术提升,突破传统技术的瓶颈,可以更好地解决已有的安全问题,也可以帮助我们应对新的安全问题。


简言之,安全数据的大数据化、传统安全分析面临的诸多挑战,以及正在兴起的智能安全和情境感知理念都将大数据分析视作关键的解决方案。于是,业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析(Big Data Security Analytics,简称BDSA),也有人称做针对安全的大数据分析(Big Data Analytics for Security)。


借助大数据安全分析技术,人们能够更好地解决天量安全要素信息的采集、存储的问题,借助基于大数据分析技术的机器学习和数据挖据算法,能够更加智能地洞悉信息与网络安全的态势,更加主动、弹性地应对新型复杂的威胁和未知多变的风险。


攻击者的攻击行为隐藏在海量的安全事件中,通过包捕获,也能拿到天量的包含攻击流量的数据。所有这些天量数据汇聚起来就是安全大数据。通过对这些安全大数据进行实时分析和历史分析,建立行为轮廓,并进行行为建模和数据挖掘,就能帮助安全分析师识别出攻击者及其攻击行为和过程,并提取攻击特征,反馈给安全防御设施进行阻断。


“其实,这类分析方法很早就提出来了,只是受限于当时的技术实现手段,难以落地。大数据技术的成熟,以及大数据生态系统的日益壮大,使得这些分析方法有了落地的可性能。”叶蓬告诉记者。


防御思想变革


毫无疑问,信息安全始终是一场攻与防的博弈,此消彼长。当攻击方不断创新和突破的时候,那防守方呢?


“现在业界讨论更多的不是有没有遭到攻击,而是何时会遭受攻击,甚至是当我们已经遭受攻击时,如何迅速、准确地找到网络中已经存在的攻击!”叶蓬认为,面对越来越高级和新型的安全威胁,当前整个网络安全防御体系已经失效,因而安全防御的思想方法论也需要进行重大的变革。

“当然,这并不是说传统的防御思想一无是处,而是需要进行反思和提升。”叶蓬告诉记者,当前的信息安全发展趋势正在从面向合规的安全向面向对抗的安全转变;从消极被动防御到积极主动防御,甚至是攻防兼备、积极对抗的转变。


一种防御思想是纵深防御。尽管这个防御思想经常被提及,但是当下要更加深化对“纵深”的理解。“这种纵深不能仅仅是防范某类些攻击路径上的纵深,还需要考虑防范攻击的时间纵深、管理纵深、物理纵深。总之,我们要从更高的维度来进行纵深防御,因为我们的对手也正在研究如何从更高的维度来发起攻击。”叶蓬说。


随着网络安全日渐上升到国家层面,以及网络战风险的加大,很多军事理论也被引入了网络安全领域,譬如更加重视情报,尤其是威胁情报在网络威胁检测中的作用。情报的获得与分享将大大提升对高级威胁防御的有效性。而情报的分析与分享需要大数据平台来做支撑。又譬如,军事领域的伪装、诱饵技术也应用于网络安全,安全防御体系中正在加入伪装的核心数据库和服务器,对设备、主机、系统和应用的特征指纹进行伪装,以及部署蜜网等。


“100%的守住网络安全是绝不可能的。因此,我们不能被动地防守,我们需要更快更好地识别潜在的威胁和敌人。从国家网络空间安全的角度来看,就是要具备先发制人的能力,以及网络空间威慑的能力。从一般企业和组织的角度来看就是要具备主动防御能力,包括提前获悉网络中的暴露面,获悉网络威胁情报。”叶蓬表示。


还有一种防御思维是积极防御、积极对抗。这种思想的终极目标是不求阻止任何攻击,而是尽可能地延缓攻击,拖延攻击者的时间,以便为找到对策争取时间。网络攻防很多时候就是一场夺取时间的战斗,谁得到的时间越多,谁就越有可能掌握对抗的主动权,而掌握主动就意味着更有可能获取对抗的胜利。

叶蓬告诉记者,诸如美国国防部提出了移动目标防御(Moving Target Defense,简称MTD)的理论,并投入大量资金进行研究和产业化。移动目标防御的核心就是不断变换己方关键目标的工作姿态,从而使得对方疲于破解,消耗对方的时间,为己方赢得防御时间,提升系统的可生存性。


“这种积极防御就像踢足球一样。过去,我们的防守也有阵型,但是更像是站桩式防守,对方一变阵,就完全无法应对。我们过去部署的大量安全设备和系统基本上都是站桩式的,缺乏协作与变换,相互协作和补防能力都没有。积极防御就是要求防守队员都跑动起来,相互之间更好地协同,对于网络安全防护设备而言就是要相互协同联动起来。再厉害一点,连球门(关键保护对象)的位置也要能够变化,譬如隐匿IP,动态化IP等。”叶蓬说。


“除了场上的队员要积极起来,场下的教练和分析师智囊团也要积极起来,要根据场上的形势变化做出合理的战术布置和调整。对于网络安全防御,就是要有一个决策分析与研判的机制,要有一个安全分析的大脑。这个大脑能够能够基于历史数据挖掘分析,找到合适的设备,将其部署到合适的位置,让各种安全设备和机制发挥最大的作用;同时,能够实时分析对抗过程中产生的信息,做出合理的防守变化。”叶蓬的比喻非常形象。


显然,这个安全分析的大脑就是大数据安全分析平台。

 

大数据安全分析平台


“在一个较为完备的基于大数据安全分析的解决方案中,通常会有一个大数据安全分析平台作为整个方案的核心部件,承载大数据分析的核心功能,将分散的安全要素信息进行集中、存储、分析、可视化,对分析的结果进行分发,对分析的任务进行调度,将各个分散的安全分析技术整合到一起,实现各种技术间的互动。”叶蓬表示,通常意义上的SIEM(安全信息与事件分析系统)、DLP(数据防泄露系统)、4A系统(认证、账号、授权、审计)等都在这个大数据安全分析平台之下。


2014年底,启明星辰发布的具有自主知识产权的泰合大数据安全分析平台,正是基于上述思想进行设计的。叶蓬介绍,该平台可以帮助用户实现在规模不断扩大的异构海量数据如事件、流、网络原始流量、文件等信息中,结合流行的关联分析、机器学习、数理统计、实时分析、历史分析和人机交互等多种分析方法和技术,发现传统的安全产品无法检测的安全攻击和威胁,从而进一步保护用户的信息不被破坏,保障用户的业务安全稳定运行,为用户达成核心战略创造价值。


“泰合大数据安全分析平台面向大型企事业单位、政府、组织机构等用户,提供一套完整的分布式数据采集框架及预处理过程,选用成熟的大数据存储架构,结合SQL、NewSQL和NoSQL技术,实现对异构安全数据的快速可靠的存储。平台提供了多种集中式和分布式数据分析方法,可实现对天量安全数据的实时分析与事后分析,同时还提供一套可视化的数据挖掘分析工具。

 

借助于该平台实现的核心功能有:安全信息的全文索引、大数据实时分析、大数据快速统计报表分析、网络流量元数据存储与行为分析、全包存储与原始流量还原分析、历史数据的关联分析和溯源、攻击路径分析、威胁情报管理与共享、海量数据可视化展示、大数据分析云平台可视化人机界面,协助安全分析师灵活调整分析过程,发现数据价值。”叶蓬介绍,平台采用分布式处理技术在提升采集、存储与分析性能的同时,提供了友好的数据展示平台,采用丰富的数据展示组件,实现了安全数据集及分析结果的可视化,为安全管理人员呈现有价值的分析结果。


叶蓬介绍,泰合大数据安全分析平台架构分为采集层、大数据层、分析层、管控层和呈现层,分别完成天量异构数据测采集、预处理、存储、分析和展示,采用多种分析方法,包括关联分析、机器学习、运维分析、统计分析、OLAP分析、数据挖掘和恶意代码分析等多种分析手段对数据进行综合关联,完成数据分析和挖掘的功能,并集成了业界领先的智能威胁情报管理功能,结合内外部威胁情报,可以为安全分析人员和管理人员提供快捷高效的决策支持。


重塑信息安全产业


“做大数据分析,数据质量非常关键,如果提供分析的数据本身就有问题或者错误,那么分析结果必然有问题。尤其是大数据安全分析中,数据的真实性和原始性更加重要。具体来说,如果我们仅针对海量日志进行分析,可能由于攻击者将关键日志抹除,或者故意掺入假日志,反而会让基于日志的大数据安全分析误导我们。这时,我们很强调对原始网络流量的分析,将这些流量转换为流(元数据),然后进行大数据分析,配合日志分析,效果更佳。”叶蓬说。

 

当然,整体上而言,和大数据分析在其他行业的应用一样,大数据安全分析还处于早期,尚未成熟,但前景乐观。叶蓬认为,一方面,大数据分析自身的生态还未真正建立,大数据技术本身还在迅速演化;另一方面,基于大数据的安全分析算法还不够丰富,安全分析算法的设计人员和数据分析师匮乏,大部分分析结果还需要富有经验的安全分析师才能解读,分析结果还做不到一目了然。因此,目前大数据安全分析主要用于针对APT等新型威胁的检测分析,因为这类需求本身很复杂,值得做这个投入。叶蓬强调,用户在建设大数据安全系统之前,一定要确认清晰的目标,要有对发展现状和自身能力的正确认知,切不可盲从。

 

大数据时代的到来,使得安全数据的地位和价值得到了空前的提升,数据成为了网络安全的关键资源。叶蓬指出,大数据安全分析本质上还是一种知识的运用和提取。在大数据时代,安全对抗往往体现为数据和知识的对抗。

叶蓬也强调,大数据安全分析不是一个产品分类,而是一种技术,一种安全分析理念和方法。大数据安全分析技术正在重塑整个信息安全产业,体现在安全防护架构、安全分析体系和业务模式等诸多方面,各种安全产品也正在被大数据安全分析技术重塑。

 

                                                                         【本文摘录自中国计算机报2015年4月6日第12期】

文章来源:http://www.venustech.com.cn/
  • 公司总部 | 分支机构 | 法律声明 | 投资者关系 | 400-624-3900 800-810-6038
  • © 启明星辰1996-2015 版权所有 京ICP备05032414号 京公网安备110108003435号