建设高校大数据实验室的意义和作用

   大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

   大数据与云计算的关系就像一枚硬币的正反面一样密不可分。所以是数学一类的专业，现在本科数学类下辖子专业有（信息与计算科学），（数学与用用数学），（统计学）等。所以大学里开设了（统计学）、（信息与计算科学）原则上都可以建议大数据实验室，然而这两个专业必须是比较强的。这只是基础，国内能称为大数据教材的书共有两本，一是厦门大学林子雨编著的《大数据技术原理与应用》和河南大学张重生编著的《大数据分析：数据挖掘必备算法示例详解》。可想而知：现在大学里关于 大数据教学资源比较匮乏的。

   根据以往的经验，每项技术从广泛应用到最终进入高校教学体系都会经历漫长时间。大数据技术早在八年前就已经开始被企业广泛应用，去年才真正开始进入高校课程体系，在教育部相关政策的扶持下，迄今为止，成功开展大数据教学活动的高校寥寥无几，其中重要的原因之一便是大数据实验室教学环境缺少的问题。

 大数据实验室依据业务属性，共分为3个功能区：

 1）实验区：学生学习大数据课程内容和实际操作实验课程的区域，根据每组学生数量配置终端（PC）；

 2）实验设备区：放置大数据室实验设备的区域，包括服务器、存储、网络设备和虚拟化软件，所有的实验内容均运行在该实验设备区内；

 3）实验管理区：老师管理区和演示区，负责演示实验课程内容并对所有实验组的实验设备做监控和管理；

目前，全世界每天产生的数据总量大概是22PB（约2300万GB）。这些数据对于研究改善健康，安全，气候和资源能效，城市管理等领域具有非常大的价值。但国内多数科研机构对于这些数据还在沿用传统的数据统计、数据分析形式，对 大数据 的新型算法和处理方法研究进程普遍落后于美国、日本等。

 在校师生每年都会产生大量数据，大部分数据无法存储，即便可以存储，对其利用率也极低。我们知道大数据的价值在于，通过对数据挖掘分析，总结事物规律，用以改善决策。大量的数据遗失和浪费对于教学体系改革而言，无疑是重大的损失。

在数学上来看，计算机中存在不断变大的数据集，不存在绝对的大数据，计算机中的全部数据集都是有限集合。

大数据採样——把大数据变小、找到与算法相适应的极小样本集、採样对算法误差的影响

大数据表示——表示决定存储、表示影响算法效率

大数据不一致问题——导致算法失效和无解、怎样消解不一致

大数据中的超高维问题——超高维导致数据稀疏、算法复杂度添加

大数据中的不确定维问题——多维度数据并存、按任务定维难

大数据中的不适定性问题——高维导致问题的解太多难以抉择

明确大数据建设的基本理念

  大数据实验室的设计全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。

   利用虚拟化教学资源，搭建实训平台和实战平台，将理论学习、实践教学和大数据分析实战融为一体，由难而易、循序渐进，逐步提升学生的学习技能和实践水平，提高“学”的质量和成效。

   利用大数据融合框架，搭建与业界主要用户一致的实验与科研环境，将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中，提升学生的动手操作和项目实践能力。使得学生所学与企业项目人才需求无缝衔接，与教师的科研工作紧密配合。 通过专业的大数据融合资源搭建的开放式大数据融合平台，可以充分的融合教师的科研需求，教师可以在开放的平台

  实践实训平台将按照国家实践实验教学示范中心建设要求，在实践实验教学理念、实践实验管理模式、实践实验教学体系和师资队伍的培养上不断进行探索和改革。

 以高校重点科学与技术重点学科为依托，使专业建设、学科建设与实训实验室建设相协调。继续坚持以“应用型、高品质、创新型”作为现代信息化人才培养目标，以学生为本，完善以知识传授、能力培养、素质提高为核心，以大数据国家安全战略的视野，在实训实验内容、实训实验方法、实训实验设备和实训实验技术等方面紧密跟踪学科发展前沿，不断提高和完善。

    大数据专业是一个重视操作、技术为先的实用性工科专业，实践实训教学是培养互联网人才的重要环节，也是保证学生就业质量、提高学生就业能力的必不可少的基础。实践实训室教学中心的建立将会使相关院校信息化相关的众多专业的学生得到多方面的帮助： 

   大数据实验室教学中心的建立将会进一步规范互联网工程相关专业的实践实验实习教学，使老师和学生都在现代互联网技术的应用方面得到更大提高，为申报更高级别的教学成果奖奠定基础。

     使学院实现产学研结合的办学方针，承担互联网技术和科研任务。在这一工程中，所有相关的学生都参与其中，一方面增强学生的实际工作能力，得到了大量用人单位的好评，另方面也为地方的经济建设做出了应有的贡献，创造了巨大的经济效益。

大数据科研环境要求上比教学环境要苛刻，除了对硬软件本身的要求，还有就是科研项目资源的要求。如果说大数据教学案例在当下是稀有资源，那么大数据的科研项目资源就更是如此，其中数据源的质量会直接关系到研究成果。

 互联网相关工程专业是一个重视操作、技术为先的实用性工科专业，实践实训教学是培养互联网人才的重要环节，也是保证学生就业质量、提高学生就业能力的必不可少的基础。实践实训室教学中心的建立将会使相关院校信息化相关的众多专业的学生得到多方面的帮助：

1.在高校大数据类实训实验教学中起到引领和示范作用

2.扩大资源共享，提高设备使用率，共同促进发展

3.建立周边地区互联网职业技能培训和考试基地

4.规范实习实训实验教学，力争取省部级、国家级教学成果获奖

5.扩大社会经济服务，创造更大经济效益