课程名称 课程简介 大数据基础 Linux前世今生；Shell; Maven; Git 大数据课程导学 什么是大数据；我们为什么要学习大数据；大数据组件包括哪些；当前各大公司主流技术架构是什么； Hadoop Hadoop分布式系统背景概括；离线数据分析流程简介；伪分布式及分布式环境搭建；HDFS概念；HDFS的Shell；HDFS的JavaAPI；HDFS各节点详解；zookeeper概述以及集群部署；高可用集群概述以及搭建；mapreduce概述以及WorkCount; MapReduce的若干案例；shuffle机制； Hive Hive的背景；Hive的安装；Hive的数据类型；Hive的基本命令；Hive表的查询；Hive的分区分桶；Hive的内部函数；Hive的自定义函数；Hive数据的导入导出；Hive的视图和索引；Hive的log和压缩；Hive的存储格式；Hive的调优； HBase hbase体系结构；hbase数据类型；hbase的安全；hbase的JavaAPI；hbase的高级应用-filter; hbase 与HDFS的数据交互；hbase的高级编程；hbase整合hivi Flume flume简介以及安装；flume的若干案例；flume的原理； Sqoop sqoop概述以及安装；数据导入导出；sqoop原理；Data-X介绍和使用； Scala scala概述及环境准备；scala 的基本语法；scalar的类和特质；scala 的抽象类和对象；scala的继承；scala的模式匹配和样例类；scala的文件以及正则表达式；scala的并发编辑；scala 的future和actor; scala 的高阶函数；闭包和柯里化；隐式转换和和隐式参数 Spark spark概述以及集群安装；spark程序执行流程；RDD概述；spark的算子；spark集群启动和任务提交流程；RDD的依赖关系；RDD的缓存；DAG的生成；spark的任务管理器和检查点；JBDC RDD和自定义排序；spark SQL概述和基本操作 AI插件辅助编程 了解主流大语言AI模型的基本使用；掌握AI辅助插件的使用； 掌握Promt提示语的使用；