大数据需要学习:1。Java编程技术;2.Linux命令;3、Hadoop4、蜂巢;5.Avro和Protobuf;6、动物园管理员;7、HBase8.凤凰等。
大数据专业主要学习内容为第一阶段:大数据前沿知识及hadoop介绍,大数据前言知识介绍,课程介绍,Linux及unbuntu系统基础,单机及伪分布式模式下hadoop的安装与配置。
第二阶段:hadoop部署进阶。Hadoop集群模型构建,Hadoop分布式文件系统HDFS深入分析。使用HDFS提供的api操作HDFS文件。Mapreduce的概念和思想。
第三阶段:大数据导入和存储。mysql数据库基础知识,hive基本语法。蜂巢结构和设计原则。配置单元部署、安装和装箱。Sqoop的安装和使用。将sqoop组件导入配置单元。
第四阶段:Hbase理论与实战。Hbase简介。安装和配置。Hbase数据存储。项目实战。
Stage /kloc -0/: Spaer配置和使用场景。Scala基本语法。spark的介绍和发展历史,spark stant单机模式的部署。SparkRDD详细解释。
Stage /kloc -1/: spark大数据分析原理。Spark内核,基本定义,spark任务调度。Sparkstreaming实时流计算。Sparkmllib机器学习。Sparksql查询
大数据专业就业导向大数据专业是从数据管理、系统开发、海量数据分析与挖掘、就业导向数据开发与管理、企业管理、城市环境治理等方面帮助企业掌握大数据应用中各类典型问题解决方案的专业。
下一篇:初中毕业不干本专业可以干啥工作