在大规模离线数据的分析场景中,由于元数据库被频繁访问造成的性能瓶颈导致集群计算速度急剧下降。典型的Hadoop平台多基于磁盘进行数据读写,磁盘的读写速度又明显不如内存。针对这种情况,本文基于Hadoop平台,结合对其他分布式缓存的研究,提出了一种新的分布式缓存技术来加快数据的计算速度,从而提高数据的计算时效性。实验结果表明应用于Hadoop的MMap内存模型能极大地提升了集群的计算速度。该模型能有效将文件映射到内存区域,减少内核与用户空间来回拷贝数据,同时数据异步式追加方式不会阻塞计算进程,能有效提升集群整体的计算能力。 所以建立数据仓库是进行大规模数据集计算的基础前提条件。数据仓库中重要一步，就是在OLAP服务器上建立元数据数据库。元数据库和以前所说的数据库不同，主要用于存放元数据，元数据库有很多呈现方式，可以把维度表当成一种元数据。缓存的研究与实践-电动数控滚圆机滚弧机切管机张家港切管机数控切管机而在典型的hadoop平台上，Master节点的Name-Node就是存储元数据的中心地带，JobTracker在进行节点分配计算时，会先从N在操作性环境中的任何时刻，对数据结构都有且仅有一个正确的定义 本文有公司网站全自动倒角机采集转载中国知网整理，http://www.daojiaoj.com  。但是在数据仓库中，存于此环境中的数据会存在很长一段时间，所以数据结构将发生经常性改变。因此即须管理多种数据结构的定义，而这些变化的数据结构定义将主要由元数据库来维护。如图2所示［4］。近年来关于Ha-doop的研究成果大多集中在对Hadoop平台的性能改进上［5］，其中频繁提到的就是通过优化HDFS来提高存储性能以及改进算法来提升MＲ计算性能，这其中都涉及到了元数据的处理，但是却极少突显元数据的重要性。由上述两点可见，关于元数据的操作横跨整个数据仓库图2数据仓库的数据结构随时间变化而改变Fig．建仓过程，既然元数据在数据仓库中连续访问具有普遍高发性质，所以对连续数据进行有效的存储就成为一个至关重要的因素。而Hadoop平台虽然支持大规模并行计算，但其设计的理念却是基于磁盘IO读写数据。一旦把元数据的块结构放到内存中，那么存储块的所有行则只需要电子时间就能被访问到缓存的研究与实践-电动数控滚圆机滚弧机切管机张家港切管机数控切管机 本文有公司网站全自动倒角机采集转载中国知网整理，http://www.daojiaoj.com