• Phone: 400-803-6006
  • Market@loongstore.com.cn

中国石油勘探总院龙存集群存储案例

中国石油勘探开发勘探院是中国石油天然气股份有限公司上游唯一的综合性研究机构和公司战略决策的参谋部、油气勘探与开发生产的高新技术支持中心、技术服务中心和高水平人才培养中心。其总部设在北京,并在廊坊、兰州、杭州、荆州等地设有五个分支研究机构,研究人员1800多人,40多年来,勘探院先后参加了中国大多数大、中型油气田的勘探开发研究工作,是新中国石油工业建设和发展的直接参与者和贡献者。



一、背景

随着石油行业的发展和地震数据采集技术的不断进步,数据量的急剧上升和复杂地质构造与地震岩性成像已成为迫切需要解决问题。地震资料处理是将地表图层数据采集并数字化,供软件分析成像,以满足油田复杂地质构造与地震成像的要求。为了保持复杂地质构造与地震岩性成像,勘探院采用先进的 IT 技术作为发展动力,在三维地震叠前时间/深度偏移处理方面,广泛采用了基于 Linux 的 HPC 集群,以近千台服务器加快计算性能并减少费用支出。当计算集群大幅度提升了地震资料处理的效率之后,作业运行的效率瓶颈就从计算处理方面转移到了数据IO方面。由于原有的存储方案的IO性能限制,作业需要花费大量的时间在等待数据IO完成的过程上,浪费了大量的CPU计算资源。由此,勘探院迫切的需要一个具备更高性能、高安全性的存储系统来提升作业运转效率。




二、挑战

石油勘探数据量增长迅猛,容量需求不断变化,为应对未来计算平台发展趋势,存储系统最大支持容量,将成为一套存储系统的主要关注点;数千计算节点同时进行并发计算,随机度很高的情况下,对存储系统的数据读写调度、文件一致性以及负载均衡能力,带来极大挑战;高性能计算集群极大的提高了资料计算处理能力,导致系统的计算能力远远高于磁盘带宽,使得系统I/O性能与计算能力间产生瓶颈;随着时代的发展,数据中心无法避免硬件的损坏,当硬件损坏时如何保证数据的安全性,如何保证应用系统不会受到丝毫影响;数据量不断增长的情况下,如何对存储系统进行统一管理,减少数据中心运维成本与复杂度;



三、龙存产品优势

中国石油勘探院对多家知名的存储和系统厂商的高端存储产品进行了评测,最终还是选择了龙存科技的LoongStore来作为大规模Linux计算集群的后端存储系统。对于具有高并发访问的地震资料处理应用,LoongStore具有如下突出的优势:


1、存储系统无容量上线,可有效支撑单卷300PB以上的存储容量,保证存储系统可满足随着时代的变迁产生的不同需求;


2、独特的元数据调度机制与字节粒度的集群锁机制,可有效支撑数千计算节点同时进行数据处理,并保证所有数据服务器负载均衡与数据的一致性;


3、采用集群的形式架构,可充分利用起系统中每一块磁盘的性能,将系统中所有服务器的CPU、内存、网络、硬盘性能聚合起来,形成一个超强的聚合带宽,满足高性能计算环境下的聚合带宽需求;


4、灵活的存储架构,具有故障恢复、故障自动切换、负载均衡等功能;在不影响原有系统的前提下进行计算节点、传输带宽、数据迁移能力、数据存储容量等方面的扩展,可有效支持在线更换存储硬件设备;


5、统一存储管理界面,可以很好的检测系统中所有服务器的硬件故障以及负载情况,可单人单点管理数PB存储容量。




四、龙存构建存储系统简介

龙存集群存储系统通过文件全局共享的特性让所有的计算节点以更高的并发粒度对数据进行存取,以超过5GB/s的聚合带宽满足上百台Linux计算刀片并发处理的IO需求(网络利用率超过80%);


目录权限管理,支撑多用户访问模式,管理员可在线设置与变更目录的访问权限,禁止未授权用户对目录内数据进行非法操作;


存储系统共支撑数百台计算刀片进行地震资料处理操作,处理软件包括omega、paradig、cgg等应用软件;集群存储系统使用通用的硬件构建的大规模共享存储平台,不但控制了成本支出,还有效的提升了Linux计算集群的资料处理效率,加快了作业运转的效率。