曜文编译致力为大家分享更多更好的高质量论文，供大家学习参考。同时大家也欢迎大家通过转载的方式进行分享，让更多的人能够观看学习，从中获得经验和灵感，小编将为大家提供*新sci论文资讯。

　　摘要：云计算、大数据、5G通信等技术的快速发展，我国已经进入“互联网+”时代。论文采用软件工程需求分析和设计技术，导出数据中心平台的业务功能，分别是数据整合和预处理、数据资源调度和存储、RedHat操作系统和搭建Hadoop集群平台，研究结论是利用数据中心平台为不同的互联网用户提供数据存储和访问等功能，根据应用类型实现数据预处理和整合，基于优先级实现资源调度和管理，将热点数据迁移到速度较快的位置，还可以利用MapReduce实现数据资源的并发处理，具有一定的作用和意义。

　　关键词：数据中心;MapReduce;数据迁移;优先级

　　随着互联网、云计算、数据库、多媒体等技术的快速发展，许多领域都引入了先进的应用系统，比如在线学习系统、智能旅游系统、自动化办公系统、工业智造系统等，大大地提高了人们工作、生活、娱乐和学习的兴趣。比如，广电作为一个电视电影节目制作、发售机构，其需要构建一个电视数据服务中心，该中心需要为用户提供4K高清晰视频，同时每年拍摄和录制的广播电视界面数亿小时，为人们提供了电视剧、电影、综艺、体育、文化、新闻、农业、军事等各领域的视频服务;中国移动作为通信网络的运营商，需要构建一个大型的数据中心，存储各类型的网络数据;阿里巴巴也需要构建一个大型的数据中心，为淘宝、天猫等提供强大的数据存储设备，实现商品销售、客户管理等服务。因此，通过上述事例进行分析，数据中心的存储容量大、访问用户多，因此为了提高这些数据资源的服务能力，需要引入更加先进的数据服务技术，包括云计算、大数据和MapReduce等技术，进一步提高数据中心的并发性、容错性、健壮性和可移植性，具有重要的作用和意义。

　　1数据中心平台功能分析及设计

　　数据中心平台需要为数以亿计的用户提供一个并发接入功能，实现数据的预处理和整合，还可以实现数据存储和迁移，以便能够根据实际需求调度数据资源和分配服务资源。数据中心还可以实现数据存储、传输和共享功能，为每一个数据存储对象赋予一个计数器，利用计数器表征数据的访问频次，这样就可以大幅度提升数据的访问时效，进一步提高数据访问的优先级设置智能化水平和自动化水平[1]。数据中心平台业务处理流程如图1所示。图1数据中心平台功能架构数据中心的功能业务很多，详细介绍如下。

　　1.1数据整合和预处理

　　数据中心平台存储的信息非常多，这些信息不仅包括应用软件运行产生的数据，还包括数据中心平台自身硬件数据，这些数据的组织结构比较复杂，如果不采取一定的方法进行统一管理，有结构的和无结构的数据融合在一起不利于提高数据中心平台的利用率，也无法提升数据访问和操作效率。因此，加强数据整合和处理，将视频数据、图像数据、文本数据或音频数据进行分类，同时还可以按照结构化组织原则，将数据划分为关系数据、对象数据等，将这些数据资源集成在一起，同时还可以根据用户的需求，临时添加一些过滤措施，这些措施可以过滤一些噪声数据，提高数据对象加工的可靠性和一致性[2]。目前，数据中心平台常用的预处理工具包括三种，分别是Impala系统、SparkSQL系统和HiveSQL系统等[3]，本文数据中心平台存储采用了先进的结构化查询语言，因此可以使用HiveSQL系统作为本文数据中心平台的预处理工具，这个工具能够实现信息加工和处理，提高数据中心平台的资源利用率，还可以提高数据操作时效。

　　1.2数据资源调度和存储

　　数据中心平台的*关键功能就是存储。由于数据中心平台部署的软硬件资源非常多，这些资源包括视频应用、金融应用、电商应用、工业应用等多个方面，每一个应用运行产生的数据量都非常大，因此为了提高数据中心平台资源调度服务能力，可以利用HBase和Kudu等存储管理工具，这些工具能够分析存储资源的利用率，还可以设置不同级别的优先级，实现数据资源的智能化迁移。数据存储管理引用了Oracle数据仓库，这样就可以大幅度提高数据资源的挖掘和分析能力，从而为人们提供知识加工和处理，帮助人们进行决策，提高决策的科学性、准确性。

　　1.3RedHat操作系统

　　数据中心平台为了能够集成管理软硬件资源，可以引入数据平台操作系统，然后可以提高各个平台的管理效率，加强视频、图像、文本等资源的管理效率，实现数据中心平台资源的管理和加工，本文选择RedHat作为操作系统[4]，该系统可以与本文采用的数据迁移算法相匹配，不仅可以管理物理存储空间，实现对资源的调度和分配。数据中心RedHat可以为不同的用户群体提供一个界面化操作模式，同时该系统可以加强各个资源的组成，进一步提高数据服务的性能，比如可以为用户提供一个集群的操作系统，该系统能够加强不同客户之间的信息共享功能和交流沟通功能。

　　1.4搭建Hadoop集群平台

　　Hadoop是一个软件平台，其可以运行数据中心平台的资源服务，目前该集群平台*为关键的技术既是MapReduce，该系统能够将分布在各个地域的计算机服务器、数据库、终端设备集成在一起，形成一个计算服务集群，可以更好地实现并发处理功能。Hadoop集群软件平台目前经过多年的研究和发展，已经引入了更多的先进技术，比如*为核心的技术就是Sqoop、Hbase和Spark，Hadoop集群软件平台还引入了HDFS技术，可以将每一个终端设备和服务器底层的存储节点连接在一起，利用MapReduce实现分布式存储和虚拟化管理，更好地提高平台的可用性。

　　2数据中心平台关键技术应用设计

　　数据中心架构采用先进的云计算架构，该架构可以将资源可以将数据中心划分为三个层次，分别是基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)，这些层次采用了先进的虚拟化技术，能够将物理存储空间进行逻辑扩展，利用多任务并发操作算法，比如分片方法、轮转方法等进行分时占用操作，此时就可以提高存储空间的资源利用率。数据中心平台关键技术处理业务流程如图2所示。目前，数据中心平台的存储的内容有些访问频次较高、有些访问频次较低，因此数据迁移技术可以提高数据中心平台动态存储、优先级存储，其可以将存储中心的不同位置赋予不同的优先级，从高到低进行有效的排序操作，优先级较高的位置可以存储访问频次较高的数据，优先级较低的位置可以存储访问频次较低的或一些没有访问频次数据。具体的，数据迁移和分布式处理流程就是：InputFormat对数据文件中的数据进行加载，进行split(逻辑分片)和RR(Recor-dReader)操作，此时可以将各个分片的数据从数据文件中读取出来以键值对输出作为Map函数(用户程序自己编写的逻辑)进行输入，输出中间结果进行Shufflc，传给Reduce函数输出*终结果。Split逻辑上进行分片，分片的依据用户可以自定义，但分片的数量决定了Map任务的数量，理想分片是HDFS的块。Reduce任务的数量通常是比集群中Reduceslot槽的总量略小一点。Shufflc分为Map端Shufflc和Reduce端Shufflc，提供一个操作性能良好的并行计算软件，从而可以自动化地完成数据操作和计算任务，能够为用户分配更多的存储空间资源，进一步提高数据中心的资源调度水平。

　　3结束语

　　数据中心作为当前*为先进的存储、访问、应用平台，已经在高清晰电视、电子商务服务、金融证券服务等多个领域提供服务，其存储的数据量数以亿计，海量的数据资源融合在一起，需要构建一个强大的并发服务架构，满足海量用户同时访问和应用操作，还可以保证数据中心的安全性、可靠性和完整性。数据中心还要使用先进的MapReduce技术和数据迁移技术，为不同的用户提供更加智能化的分片式、透明化操作，这样就可以帮助用户快速的、高效的定位数据资源，还可以根据访问数据的频率，提高数据资源的优先级，优化数据的访问操作时效。

　　参考文献：

　　[1]闫龙川,白东霞,刘万涛,等.人工智能技术在云计算数据中心能量管理中的应用与展望[J].中国电机工程学报,2019,39(1):11-14.

　　[2]史宝虹.高校虚拟化数据中心平台建设及迁移研究[J].电脑知识与技术,2018,14(21):15-17.

　　[3]柴立,解建仓,龚尚福.大数据背景下金保数据中心建设关键技术研究[J].现代电子技术,2019,42(10):144-148+153.

　　[4]邢宝平,吕梦圆,金培权,等.面向绿色数据中心的能耗有效查询优化技术[J].计算机研究与发展,2019,56(9):114-116.

　　作者：周洁露

　　声明：本文转载于网络，并不意味着代表本网站观点或证实其内容的真实性;本站致力于为大家 提供更多，更好的新闻内容。曜文专业，专注，为您提供SCI论文润色，发表服务。

　　如果您还苦于没有选题思路，或者写作无法进展，请您联系曜文编译，我们会为您提供一站式学术服务解决方案。不管您是有sci论文润色、sci润色，还是其他学术编译需求您都可以放心交给我们。