下载以后，上传文件到对应任务即可
下方为题目演示，上方支付后即可获取答案下载链接
实验1 Linux操作系统部署
实验1 Linux操作系统部署
Linux操作系统应用日益广泛，现已成为主流的网络操作系统。云计算、物联网、移动互联网和大数据等研究热点与应用领域的出现与发展，都应用了Linux操作系统。随着互联网的广泛应用，Linux用户也迅速扩展，Linux操作系统发挥出越来越大的作用。
1.实验目的
通过Linux操作系统部署的实验，学生可以掌握虚拟机平台VirtualBox及扩展包安装方法、创建Linux虚拟机方法、安装Linux操作系统方法，进而为大数据Hadoop环境部署奠定基础。
2.实验要求
在了解Linux操作系统安装的相关知识基础之上，通过实例完成下述任务。
（1）虚拟机平台VirtualBox及扩展包安装。
（2）创建虚拟机。
（3）安装Ubuntu操作系统。
3.实验内容
（1）制订实验计划。
（2）虚拟机平台VirtualBox及扩展包安装。
（3）创建虚拟机。
（4）安装Ubuntu操作系统。
（5）熟悉操作系统的基本命令使用方法。
4.实验总结
通过本实验，使学生了解Linux操作系统的特点和过程，理解其基本命令使用方法，掌握虚拟机平台VirtualBox及扩展包安装方法，以及安装Linux操作系统的方法。
5.思考拓展
（1）为什么Linux操作系统得到了广泛的应用？
（2）说明Linux操作系统的安装步骤和简单配置方法。
（3）什么是虚拟机？在Linux操作系统安装过程中为什么使用虚拟机？
（4）Java虚拟机与在安装Linux操作系统中所创建的虚拟机有何区别？
实验2 Hadoop开发环境部署
实验2 Hadoop开发环境部署
Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高，但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处理中得到了广泛的应用。
1.实验目的
通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵活运用，进而为解决大数据分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立基础，而且可以提高工程实践能力。
2.实验要求
在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主要内容如下所述。
（1）制订安装计划。
（2）安装SSH协议。
（3）安装OpenJDK1.8开发环境。
（4）Hadoop系统部署。
（5）伪分布式Hadoop环境部署。
（6）Eclipse开发环境的安装。
3.实验内容
（1）制订实验计划。
（2）完成SSH协议安装。
（3）完成OpenJDK 1.8安装。
（4）完成Hadoop系统部署。
（5）完成伪分布式Hadoop环境部署。
（6）完成Eclipse开发环境的安装。
4.实验总结
通过本实验，使学生了解Hadoop的特点和总体结构，理解MapReduce程序的执行过程，掌握伪分布式Hadoop的安装方法和Eclipse开发环境的安装与使用方法。
5.思考拓展
（1）为什么需要安装SSH协议？说明SSH协议功能及安装方法。
（2）为什么需要安装OpenJDK1.8软件？说明OpenJDK1.8功能及安装方法。
（3）结合MapReduce程序执行过程，说明其并行处理的特性。
（4）结合Hadoop的处理过程，说明其离线处理特点。
（5）说明分布式Hadoop处理与伪分布式Hadoop处理的区别。
（6）说明Eclipse开发环境的优势。
实验3 网页数据获取
实验3 网页数据获取
数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。学习数据科学与大数据技术不仅需要掌握其理论，更重要的是能够运用工具和方法来完成数据的获取。
1.实验目的
通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方法，并能够灵活运用，进而解决网页数据获取的实际问题。
2.实验要求
理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要内容如下。
（1）前嗅ForeSpider爬虫软件安装。
（2）选择频道。
（3）网页数据采集过程。
3.实验内容
（1）制订实验计划。
（2）完成爬虫软件安装。
（3）选择网页。
（4）完成爬虫软件数据采集过程。
4.实验总结
通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行过程，掌握应用爬虫软件获取网页数据的方法。
5.思考拓展
（1）结合爬虫软件的结构说明其主要功能。
（2）通过举例，说明csv格式文件的特点。
（3）应用前嗅ForeSpider爬虫软件能够采集非结构化数据吗？为什么？
（4）我们能够在网络上爬取什么数据？
实验4 大数据去重
实验4 大数据去重
1.实验目的
通过Hadoop数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及在集成开发环境Eclipse中实现Hadoop数据去重方法。
2.实验要求
了解基于Hadoop处理平台的大数据去重过程，理解其主要功能，并能够在Hadoop环境下独立完成。
（1）制订实验计划。
（2）准备数据。
（3）伪分布式文件系统配置。
（4）在集成开发环境Eclipse中实现Hadoop数据去重。
3.实验内容
（1）制订实验计划。
（2）进入“/usr/local/hadoop”目录。
（3）准备数据。
（4）修改“/usr/local/hadoop/etc/hadoop/”目录下的Hadoop配置文件。
（5）NameNode格式化。
（6）在集成开发环境Eclipse中实现Hadoop数据去重。
4.实验总结
通过本实验，使学生了解Hadoop数据去重的特点和过程、理解MapReduce程序的执行过程，掌握NameNode的格式化方法、Hadoop的配置文件的修改和Eclipse开发环境下实现Hadoop数据去重的方法。
5.思考拓展
（1）为什么需要NameNode格式化？说明NameNode格式化方法。
（2）为什么需要数据去重？说明Hadoop数据去重的主要优势。
（3）结合MapReduce程序执行过程，说明Hadoop数据去重是离线处理还是在线处理。
（4）说明在集成开发环境Eclipse中实现Hadoop数据去重的主要过程。
实验5 大数据可视化
实验5 大数据可视化
1.实验目的
通过大数据可视化的实验，学生可以掌握Echarts.js可视化方法，直方图、饼图和标签云可视化方法，进而为大数据分析结果展现奠定基础。
2.实验要求
了解数据可视化技术的主要内容，理解Echarts.js的主要功能，并能够独立完成以下内容。
（1）构建Echarts.js环境。
（2）准备实验数据。
（3）柱状图。
（4）折线图。
（5）饼图。
3.实验内容
（1）制订实验计划。
（2）选择可视化工具，并进入基于选中工具环境。
（3）准备数据。
（4）实现可视化。
4.实验总结
通过本实验，使学生了解大数据可视化的特点和过程，掌握一种可视化工具，学习通过可视化实现柱状图、饼图、折线图的方法。
5.思考拓展
（1）为什么需要数据可视化？
（2）常用的数据可视化工具有哪些？
（3）结合一种可视化工具，说明制作可视化饼图的过程。
评论0