技术分析

技术分析

“大数据” 助力石油行业更高效

        目前,一些专业的数据公司和某些大学及相关的油气公司正在进行“大数据”对石油各领域的应用研究,从而促进行业整体的效率提升。例如,在油气行业的上游领域,利用“大数据”可以快速发现石油,降低生产成本,提高钻井安全性,提高产量等。“大数据”还可适用于勘探、开发、钻井、维护等领域。例如,在勘探领域,通过数据分析对比,在地震采集过程中可得到更加全面准确的数据集,达到更具有成效的勘探结果。在开发阶段,大数据可以帮助油服公司评估生产过程,通过对地理环境的数据分析,可实现更智能的油气开发。在钻井方面,可以随时通过数据监测和警告,避免资源浪费,减少设备磨损,还可以更好地降低事故发生的频率。在设备的维护方面,根据数据预测,事先维护某些磨损程度高的设备,从而更好地服务于油田作业。

       最终,“大数据”在石油行业体现了三方面价值。首先,“大数据”可以助力石油勘探开发的决策,达到最科学的决策,实现最高效率的生产;其次,“大数据”可以分析出石油资源消费群体的趋势和潜在需求,促进企业务实创新及开发潜在市场。最后,“大数据”可以监测、管理油田的生产与安全。

数据爆炸引发HPC架构、技术需求变化                    

        随着油气资源“二次开发”需求的出现和油气勘探从陆地走向海洋进程的加速,从2011年开始,石油勘探行业就进入海量数据处理时代。为了完成海量采集数据的深度分析,从而精准定位油气资源,HPC(高性能计算)技术的重要性日趋凸显,甚至已成为油气勘探行业生产效率的支柱。

        几乎每一年,数据采集环节所产生的数据量和前一年相比,都会出现几何级数的增长,而这种增长又不断驱动着油气勘探行业HPC应用的革新。今年,数据量的爆炸式增长又一次改变了油气勘探行业HPC的应用模式。

        “和去年相比,今年我们的数据量又增长了3倍。”东方地球物理公司研究院处理总中心总工程师赖能和告诉记者,随着地震采集技术的迅速发展、采集点数的增多,数据量增长的速度已经超过了他们去年的预测。无论是常规处理还是高密度处理,现今的地震处理技术都发生了不少变化,从过去单个方位的采集发展到多方位采集,再通过特殊技术将多方位采集信息充分利用。过去一年数据量的变化,让油气勘探行业对HPC应用架构和相关技术的需求都发生了较大的变化。

        数据爆炸首先带来的就是HPC系统的架构变化。针对海量数据的处理,对HPC系统的并行优化和运行效率的提升非常重要。过去一年,在赖能和所负责的HPC数据中心里,英特尔SandyBridgeV2架构的处理器已被广泛应用于生产系统。CPU加协处理器组成的协同计算平台受到了油气勘探行业的实质性接纳,赖能和表示,他们已经测试了英特尔协处理器Xeon Phi与GPU相互配合的效果,和至强E52670相比,3.6倍的性能提升的测试结果让他们非常“动心”,年内可能就会出现应用。

        其次,用户的关注点也不再仅是计算节点性能的提升。“HPC主要应用于海量数据处理,但现在单个文件就能达到20TB——30TB,甚至是50TB,高效处理这种规模的数据,对整个计算系统,包括存储、网络、I/O的要求都会很高。”在赖能和看来,当前石油勘探行业的HPC挑战,并不是单纯依靠百亿亿次计算能力的实现可以解决的,HPC性能的提升开始越来越依靠三个要素——计算、网络和存储的协同。除了更高性能的计算平台外,他们过去两年的主要投入都放在了解决网络与存储的瓶颈上。在提升CPU利用率,以及通过改进算法提升并行计算性能的同时,赖能和认为过去两年对HPC系统最有效的改造措施是增加内存和升级至万兆数据网。过去两年,他们总共投入了400多万元来进行此方面的技术改造,结果是“效果非常明显,性能提升了两倍以上”。

        不仅如此,去年通过采用SSD技术,在一些处理海量数据的关键算法上,赖能和发现生产系统至少能提升6倍的时间效率。而通过应用英特尔的DCM数据中心管理软件,能耗成本也下降了10%。

传统行业大数据从思考走向实践

        从传统意义上看,油气勘探行业并不是一个典型的大数据行业,这是由其应用特点决定的。虽然其具备海量数据需要处理的特点,但由于采集数据文件庞大,很难通过网络实时传输、实时处理,但这并不妨碍油气勘探行业的用户从大数据解决方案中寻找可以解决自身问题的方法,以及突破其传统应用的局限性。

        “去年,我们刚开始接触大数据,主要是研究‘怎么能做’的问题。今年,我们已经在考虑‘怎么做更好’了。”从大数据处理的角度来看,他们已经找到了一些规律,在很多技术上也已经度过了“磕磕绊绊”的阶段,不会再像过去那样“做一步停一步”。处理10TB的数据量级,对他们而言已是较轻松的任务了。过去处理380GB数据就要耗费9个月,今年几十TB数据只用一半时间。

        “大数据最主要的工作:一是数据采集,二是数据分析,三是分析后的挖掘。”在英特尔(中国)有限公司行业合作与解决方案部中国区高级经理、行业资深架构师龚毅敏看来,虽然油气勘探行业不像互联网行业那样容易出现典型的大数据应用,但其实在很多应用场景油气勘探用户都可以用到大数据相关技术,例如油气行业的安全监控,就可以运用大数据分析实现安全保障。在电力行业,经过大数据分析进行预测后,就可以通过适当调配解决电网输电配比不均衡的问题,类似这样的场景有很多应用大数据的机会。