成功案例 > 基于Hadoop数据库的集中存储解决方案

基于Hadoop数据库的集中存储解决方案

发布时间：2019-06-01

　　随着互联网的高速发展，大数据被越来越多的人关注，目前大数据分析、存储都是基于Hadoop数据库的分析和存储，针对非结构化数据的存储Hadoop数据库将面临大量数据的存储，因Hadoop数据库的技术机制问题目前支持不了数据的集中存储。高信达公司针对Hadoop这一技术问题提出了一套完善的基于Hadoop数据库的集中存储解决方案。海存量采用Hadoop数据+CEPH文件存储结构+Mellanox交换系统+IB存储能够有效的解决这一技术难题。

方案特点

　　1.选用CEPH分布式文件系统进行存储文件部署，真正的改变Hadoop数据库的部署结构，引入Cephfs，可使数据的本地部署直接变为集中存储部署，从而将存储于运算分开，即服务器主要负责运算，而文件存储全被集中到专业存储机柜上。当系统扩容时，运算能力不足就加服务器，存储不够加存储。

　　2、目前CEPH 文件存储也提供了对于2倍neme node的备份机制（保护单一点故障的容错功能），部分解决了数据库存储文件记录编号的高可靠性。

　　3、集中存储目前依托于强大的数据交换网络，而Mellanox的56GB IB解决方案恰恰完好的解决了Hadoop数据库网络传输高效率的问题，同时根据存储特性引入分级存储技术将更加提高系统的先进性。

　　4、交换采用基于RDMA技术的56GB/s IB 交换网络，可完备的保障交换网络的速率需求。

　　5、后端存储采用基于56GB/s 的 IB 存储或 8GB/s以上的FC存储，方便扩展和升级。

方案拓扑图（HADOOP平台CEPH文件结构）

　功能简述：

　本系统主要包括了一套完善的办公流程，以及适应内蒙古林业监测规划院自身特色的其他功能流程，具体包括：电子政务平台、项目管理平台、工作周报平台、档案管理平台、用户管理平台、系统管理平台等六大平台。每个平台下都有相应的流程功能模块，这些流程模块将把OA管理系统有机的结合起来，形成一套完整的办公自动化管理系统。

　成功案例：

　 内蒙古林业局办公管理系统