黑马程序员

全国校区

北京昌平
北京顺义
上海
广州
深圳
武汉
郑州
西安
长沙
济南
南京
杭州
成都
课程介绍
课程大纲
教研团队
学习经历
快速了解大数据开发

就业薪资高

人才需求大

升职加薪快

学完可以做什么？
真业务、真数据
积累真经验!

数据来源来自各行业头部大厂

千亿数据 每日数据新增量达200G
还原大厂PB级真实项目

1000+核心业务指标
多行业高效通用
前沿解决方案拿来即用
开发不必从零开始

  • 基于StarRocks的统一数仓平台

    适用于数据分析、离线数仓、实时数仓、用户画像、实时风控等应用场景

  • 流批一体数仓解决方案

    以电商业务为背景，需求涵盖实时和离线全场景，主题、指标丰富

  • 一站式数据治理解决方案

    提供DataWorks云产品和开源组件两套解决方案，解决不同公司需求

  • 阿里云一站式云端解决方案

    以打车业务为背景，真实还原企业业务场景和需求，方便理解与吸收

联合阿里云共建课程
助力企业"上云"便捷开发
课程设置全面
热门数据岗位全覆盖
了解更多
  • 1

    数据库及BI从MySQL入手，到Bl、Kettle的使用，初窥数据开发门径

  • 2

    Hadoop&Hive技术栈&离线数仓解决方案掌握Hadoop、Hive，构建开发离线数仓大数据平台

  • 3

    Python编程及数据分析实战掌握Python编程技能，进行ETL实战开发

  • 4

    Spark技术栈&用户画像解决方案掌握Spark框架及企业级用户画像解决方案

  • 5

    大模型Agent应用开发掌握Agent构建数据分析领域智能体，助力高效数据分析

  • 6

    阿里云实时计算Flink技术及项目掌握阿里云Flink技术，强化面试技巧和能力

查看详细课程大纲

BI开发

离线数仓

实时数仓

开源

阿里云

基于FineReport的BI项目

应用场景ETL数据开发定时调度BI报表设计

企业级真实新零售大数据项目

应用场景多源数据迁移海量数据存储离线数仓设计与实现

基于流批一体架构的新零售大数据项目

应用场景流批一体数据采集流批一体数据存储流批一体数据计算

出行行业流批一体数据仓库

应用场景流批一体数据采集流批一体数据存储流批一体数据计算

基于阿里云的出行大数据项目

应用场景云平台存储云平台计算数据仓库开发

更多项目

史老师

大数据架构师
拥有丰富的技术攻坚经验 多年大数据架构及开发经验,对数据分析,大数据开发,后端开发等技术有深入了解。在多家软件公司担任开发工程师, 架构师

赵老师

Apache Pulsar社区贡献者
擅长数仓领域 从事多年爬虫与大数据开发与教学，对大数据的主流框架有着深入的理解 参与并主导的项目涉及分布式电商,数据爬取,离线分析等多个行业

张老师

Apache Flink源码贡献者
ApacheCon Asia 2022亚洲峰会特邀讲师 曾任网易游戏大数据平台组项目经理、高级专家、技术总监等职务 主导设计游戏一体化大数据运营平台

曹老师

Apache Flink源码贡献者
擅长大数据云平台技术领域 曾担任京东及小米有品电商部担任大数据部门技术骨干。拥有万亿级数据处理经验 具有多年大数据领域和云平台研发经验

孔老师

架构师，技术经理
熟悉大数据&数据库&后端&前端 曾在途牛旅游网、江苏移动等公司担任技术经理和架构师，负责优化技术架构和系统流程，解决性能、效率、维护等问题

赵老师

985计算机硕士
ApacheCon Asia 2022亚洲峰会特邀讲师 主导研发多项国家和省级科研项目，负责企业级信贷风控模型和智能医疗数据平台开发 任职头部互联网企业搜索部负责搜索排序及推荐平台研发

李老师

985计算机硕士
Apache Doris社区贡献者 曾任职于百度搜索研发部负责搜索推荐业务，主导多项产品实施落地 曾任中国电子科技集团公司第七研究所技术专家

大厂背景老师来自京东、百度、小米、搜狐、360、途牛、平安、德邦、上交所等大厂

行业贡献:受邀参加云栖大会、Apache Flink Aisa Metting等行业大会，并发表主旨演讲;Apache Flink社区源码贡献者 2名、Apache Pulsar社区贡献者 1名、Apache Hudi社区贡献者 1名、Apache Doris社区贡献者 1名

与名师对话

在实时计算领域，阿里云实时计算Flink版一直是各大中小企业的主流选择，期待阿里云与传智教育的合作能够培养大量满足企业实际开发需求的实战型人才，助力企业在云上更方便、快捷、低成本的构建大数据分析平台，让企业和学员都能得到受益。

宋辛童(五藏)Apache Flink Committer
阿里巴巴技术专家，北京大学博士

传智教育一直以高质量的教学口碑引领着IT教育培训，积极参与开源贡献并在全球顶级开峰会进行技术分享，其推出的教学视频更是让众多开发者快速的拥抱前沿开源技术，推动了开源项目的发展。期待传智教育推出更多优质的开源课程，让千千万万的IT学子少走弯路，也期待与开源社区继续深入合作，一起把优秀的开源项目推向全球!

李岗ASF Member，Apache DolphinScheduler PMC

中国开源软件的发展和崛起离不开培训机构的大力传播，传智教育作为在IT培训领域知名的机构，推出了大量的开源项目相关的优质视频，让很多想从事IT的小伙伴和从业者能够从中受用。同时传智也有不少老师身体力行地为开源献力：或提交源码、或分享实践、或传道受业解惑，展现了“开源参与你我他”的精神，期待传智教育能够培养出来更多热爱开源的人才，让中国开源软件能够立足中国，贡献全球

代立冬白鲸开源联合创始人、Apache 孵化器导师，亚洲大数据湖仓论坛出品人，中国开源先锋

  • 全日制教学管理：每天10小时专属学习计划测试、出勤排名公示，早课+课堂+辅导+测试+心理疏导。

  • 实战项目贯穿教学：一线大厂实战项目，实用技术全面覆盖，课程直击企业需求。

  • 自研教辅系统：水平测评，目标导向学习，随堂诊断纠错，阶段测评，在线题库，BI报表数据呈现。

  • 个性化就业指导：就业指导课，精讲面试题，模拟面试，给出就业建议，试用期辅导，帮助平稳过渡。

  • 持续助力职场发展：免费享，更新项目和学习资料、主题讲座，获取行业前沿资讯、人脉经验，线下老学员分享会。

  • 无忧学就业权益：未就业，全额退费；薪资低于标准，发放补贴。多一份安心，学习无忧。

  • 1教学管理
  • 2项目实战
  • 3教辅促学
  • 4求职指导
  • 5职后提升
  • 6无忧学
免费试学

黑马学员2023年度就业报告

黑马学员杀疯了 强势逆袭上岸大厂

听一听黑马学员的真实就业感受

更多学员就业信息

课程大纲

  1. 基础班

    1. 数据库基础

  2. 高手班

    1. Hadoop技术栈 2. 千亿级离线数仓项目 3. 千亿级离线数仓实战 4. BI报表开发项目实战 5. Python基础编程 6. 数据分析 7. Spark技术栈 8. 用户画像解决方案 9. 大模型Agent应用开发 10. 面试加强 11. 阿里云实时计算技术 12. 阿里云实时计算项目

  3. Python+大数据版本V5.0

  • 数据库基础基础班 1

    课时:8天 技术点:60项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握MySQL数据库的使用| 2.掌握SQL语法| 3.掌握Kettle数据迁移工具的使用| 4.熟练使用BI可视化工具| 5.对数据开发有一定认知，掌握BI工程师所具备的基本技能

    主讲内容

    1. MySQL与SQL零基础小白通过MySQL数据库，掌握核心必备SQL，包含了以下技术点：

    1.数据库环境搭建| 2.SQL语言（DDL、DML、DQL）| 3.多表查询| 4.索引等

    2. Kettle与BI工具使用Kettle做数据迁移，通过BI工具展示Excel、MySQL中的数据，包含了以下技术点：

    1.数据仓库与ETL| 2.Kettle安装部署| 3.数据抽取与装载入门| 4.表输入组件| 5.表输出| 6.插入/更新| 7.switch/case等组件使用，开发Kettle作业等

    3. 电商运营指标分析通过Kettle+MySQL+FineBI完成电商运营指标分析，包含了以下技术点：

    1.电商业务背景| 2.案例架构| 3.数据仓库数据增量同步| 4.ETL开发| 5.指标SQL开发| 6.Kettle作业调度| 7.FineBI可视化展示等

  • Hadoop技术栈高手班 1

    课时:13天 技术点:8项 测验:0次 学习方式:线下面授

    学习目标

    1.掌握Linux常用命令，为数据开发后续学习打下的良好基础| 2.掌握大数据的核心框架Hadoop以及其生态体系，完成HDFS、MapReduce及Yarn机制基本理解与使用；能顾搭建Hadoop高可用HA集群| 3.掌握Hive的使用和调优| 4.具备Hadoop开发能力、离线数据仓库开发能力| 5.能够完成基本构建企业级数仓

    主讲内容

    1. Linux掌握Linux操作系统常用命令和权限管理，包含了以下技术点：

    1.Linux系统安装和体验| 2.Linux系统网络配置和连接工具| 3.Linux系统目录结构| 4.Linux命令使用| 5.Linux命令选项的使用| 6.远程登录和远程拷贝| 7.Linux权限管理| 8.vi编辑器使用| 9.sed| 10.awk| 11.权限管理

    2. 大数据基础和硬件介绍进一步阐述大数据特点与分布式思想，知识点由浅入深，包含了以下技术点：

    1.大数据的特点| 2.分布式存储概念| 3.分布式计算的概念| 4.服务器种类介绍、机架、交换机| 5.网络拓扑、Raid、IDC数据中心| 6.Linux shell编程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高级命令使用

    3. ZooKeeper分布式软件管家，实现了集群管理与leader选举，包含了以下技术点：

    1.ZooKeeper的应用场景| 2.架构和原理| 3.存储模型| 4.选举机制| 5.客户端操作

    4. HDFS分布式文件系统，解决了海量数据存储与容错，包含了以下技术点：

    1.HDFS设计的特点| 2.Master-Slave架构| 3.Block块存储、RF拷贝因子、机架感知| 4.Block拷贝策略、读写流程| 5.HDFS Federation、HDFS Snapshots、NameNode HA架构和原理| 6.HDFS管理员常用操作、HDFS权限控

    5. MapReduce分布式计算系统，解决海量数据的计算，包含了以下技术点：

    1.MapReduce架构和原理| 2.Split机制| 3.MapReduce并行度| 4.Combiner机制| 5.Partition机制、自定义Partition| 6.MapReduce序列化、自定义排序、数据压缩

    6. YARN分布式资源调度管理器，管理服务器软件资源，包含了以下技术点：

    1.Yarn原理和架构| 2.Yarn高可用| 3.Container资源的封装（CPU、内存和IO）| 4.资源调度策略（FIFO、Fair和Capacity）

    7. Hive基础数据仓库Hive，实现企业级数仓必备工具，包含以下知识点：

    1.HQL操作| 2.数据类型| 3.分区、分桶、临时表| 4..explain执行计划详解

    8. Hive进阶数据仓库Hive高阶原理和架构深入，实现企业级数仓优化，包含以下知识点：

    1.Hive原理和架构 2.Meta Store服务 3.HiveServer内置函数 4.自定义UDF和UDAF 5.数据压缩、存储格式、自动化脚本、常见性能优化

  • 千亿级离线数仓项目高手班 2

    课时:11天技术点:105项测验:0次学习方式:线下面授

    学习目标

    1.掌握泛电商行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程| 2.行业内首个深度讲解数仓建模模型方案的主体项目| 3.包括海量数据场景下如何优化配置| 4.掌握项目迁移能力，能够将项目迁移至泛电商的各个领域| 5.掌握在泛电商行业中关于全量与增量数据处理模式| 6.提供泛电商行业下的数据存储分析以及服务监控方案

    本项目基于某泛电商研发的大数据分析平台。项目原型来自于某大型生鲜平台，完全模拟企业真实数仓开发模式，拥有真实的主题化开发；真实的数据结构，复杂的SQL实现过程，学生学习以后可以开发企业级离线数仓的水平。

    主讲解决方案

    1.项目介绍与环境准备| 2.数据迁移与数仓分层设计| 3.核心五大主题域开发| 4.基于Fine Report的大屏展示| 5.基于海豚调度的全流程项目上线实施| 5.提供新泛电商大型商超集团的数据存储分析以及服务监控方案

    主讲知识点

    1.大数据部署运维：Cloudera Manager| 2.分析决策需求数据仓库：Hive| 3.数据采集：DataX| 4.数据分析：Hive| 5.数据调度：Dolphin Scheduler| 6.OLAP系统存储：Postgre SQL| 7.Fine Report数据报表与大屏| 8.数仓建模：范式与维度建模| 9.五大核心主题域开发：销售域、供应链域、会员域等

  • 千亿级离线数仓实战高手班 3

    课时:4天技术点:40项测验:0次学习方式:线下面授

    学习目标

    1.掌握泛电商行业离线数仓其他主题的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程| 2.真实业务逻辑，共涉及20多个主题，100多个指标，提升学员在泛电商行业中的核心竞争力| 3.包括海量数据场景下如何优化配置| 4.拉链表的具体应用| 5.新增数据和更新数据的抽取和分析| 6.Hive函数的具体应用| 7.Cloudera Manager可视化、自动部署和配置、Git、CodeReview功能

    本项目基于某泛电商研发的大数据分析平台。项目原型来自于某大型生鲜平台,完全模拟企业真实数仓开发模式，拥有真实的主题化开发；真实的数据结构，复杂的SQL实现过程，学生学习以后可以开发企业级离线数仓的水平。

    主讲解决方案

    1.项目介绍与环境准备| 2.数据迁移与数仓分层设计| 3.核心五大主题域开发| 4.基于Fine Report的大屏展示| 5.基于海豚调度的全流程项目上线实施| 5.提供新泛电商大型商超集团的数据存储分析以及服务监控方案

    主讲知识点

    1.大数据部署运维：Cloudera Manager| 2.分析决策需求数据仓库：Hive| 3.数据采集：DataX| 4.数据分析：Hive| 5.数据调度：Dolphin Scheduler| 6.OLAP系统存储：Postgre SQL| 7.Fine Report数据报表与大屏| 8.数仓建模: 范式与维度建模| 9.五大核心主题域开发: 销售域、供应链域、会员域等

  • BI报表开发项目实战高手班 4

    课时:4天技术点:40项测验:0次学习方式:线下面授

    学习目标

    1.掌握BI报表开发需求分析| 2.掌握BI报表工具| 3.掌握FineReport报表

    数据可视化能力早已成为新时代优秀工程师必备素养。项目结合FineReport、Python、MySQL、Kettle等主流工具，手把手带你开发一个完整的BI项目，全流程特训你的数据可视化能力，助力你迅速成为数据时代的新锐开发者。

    主讲解决方案

    FineReport报表开发解决方案| BI报表开发技术解决方案| 报表查询解决方案设计| 泛电商行业五大主题解决方案

    主讲知识点

    1.BI报表开发需求分析| 2.BI报表工具| 3.FineReport报表入门| 4.泛电商行业五大主题的实现

  • Python基础编程高手班 5

    课时:7天 技术点:80项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握Python开发环境基本配置| 2.掌握运算符、表达式、流程控制语句、数组等的使用| 3.掌握字符串的基本操作| 4.初步建立面向对象的编程思维| 5.熟悉异常捕获的基本流程及使用方式| 6.掌握类和对象的基本使用方式| 7.掌握网络编程技术，能够实现网络通讯| 8.知道多进程多线程的原理

    主讲内容

    1. Python基础语法零基础学习Python的开始，包含了以下技术点：

    01_变量| 02_标识符和关键字| 03_输入和输出| 04_数据类型转换| 05_PEP8编码规范| 06_比较/关系运算符| 07_if判断语句语法格式| 08_三目运算符| 09_while语句语法格式| 10_while 循环嵌套| 11_break 和 continue| 12_while 循环案例| 13_for循环

    2. Python数据处理掌握Python的数据类型，并对其进行操作处理，包含了以下技术点：

    01_字符串定义语法格式| 02_字符串遍历| 03_下标和切片| 04_字符串常见操作| 05_列表语法格式| 06_列表的遍历| 07_列表常见操作| 08_列表嵌套| 09_列表推导式| 10_元组语法格式| 11_元组操作| 12_字典语法格式| 13_字典常见操作| 14_字典的遍历

    3. 函数能够实现Python函数的编写，包含了以下技术点：

    01_函数概念和作用、函数定义、调用| 02_函数的参数| 03_函数的返回值| 04_函数的注释| 05_函数的嵌套调用| 06_可变和不可变类型| 07_局部变量| 08_全局变量| 09_组包和拆包、引用

    4. 文件读写能够使用Python对文件进行操作，包含了以下技术点：

    01_文件的打开与关闭、文件的读写| 02_文件、目录操作及案例| 03_os模块文件与目录相关操作

    5. 异常处理主要介绍了在Python编程中如何处理异常，包含了以下技术点：

    01_异常概念| 02_异常捕获| 03_异常的传递

    6. 模块和包主要介绍了Python中的模块和包的体系，以及如何使用模块和包，包含了以下技术点：

    01_模块介绍| 02_模块的导入| 03_包的概念| 04_包的导入| 05_模块中的__all__ | 06_模块中__name__

    7. Python面向对象从逐步建立起面向对象编程思想，再到会使用对象，到创建对象，再到真正理解为什么封装对象，包含了以下技术点：

    01_面向对象介绍| 02_类的定义和对象的创建| 03_添加和获取对象属性| 04_self 参数| 05_init方法| 06_继承| 07_子类方法重写| 08_类属性和实例属性| 09_类方法、实例方法、静态方法

    8. Python高级语法主要学习Python的高级语法，包含以下技术点：

    01_闭包| 02_装饰器| 03_深浅拷贝| 04_正则

  • 数据分析高手班 6

    课时:8天 技术点:100项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握Pandas的使用方式 2.掌握常用数据指标计算方法 3.掌握如何使用Python进行RFM分群 4.掌握使用Python代码进行用户行为分析

    主讲内容

    1. Python数据分析基础本阶段学习如何使用Juypter_notebook和 Pandas库对数据进行处理， 包括以下技术点：

    1.Jupyter Notebook的使用| 2.Pandas数据结构| 3.Pandas数据增删改查| 4.Pandas常用函数| 5.Pandas缺失值异常值处理

    2. Python数据可视化本阶段学习如何使用 Matplotlib、Pandas、 Seaborn进行数据可视化，包括以下技术点

    1.可视化常用图表介绍| 2.Matploblib数据可视化| 3.Pandas数据可视化| 4.Seaborn数据可视化

    3. 业务数据分析实战本阶段学习如何使用Pandas，Excel等工具解决具体业务问题， 包括以下技术点：

    1.Pands报表自动化| 2.常用业务分析模型介绍| 3.用户分层与分群实战| 4.用户评论分析实战| 5.用户偏好分析| 6.指标波动分析| 7.数据分析报告

  • Spark技术栈高手班 7

    课时:10天 技术点:80项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握Spark的架构和原理、RDD、DAG、CheckPoint等设计思想| 2.掌握SparkSQL结构化数据处理，Spark On Hive| 3.掌握Kafka消息队列的原理和架构设计、分布式实时计算架构和思想 4.掌握Structured Streaming整合多数据源完成实时数据处理| 5.具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力

    主讲内容

    1. Spark基础本阶段学习Spark环境搭建，包含了以下技术点：

    1.Spark基础环境搭建| 2.Spark的Standalone环境搭建| 3.Spark的StandaloneHA搭建| 4.SparkOnYarn环境搭建

    2. Spark Core整个Spark框架核心部分，掌握框架内部设计思想，数据流转步骤，是学习Spark的基础模块，包含了以下技术点：

    1.Spark架构和原理（运行机制、Driver和Executor、spark任务提交流程）| 2.RDD开发和原理（Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制）广播变量 | 3.DAG原理（DAG思想、DAG的生成、DAG的处理过程）

    3. Spark SQL学习Spark框架的SQL操作，Spark与Hive等外部数据源的整合操作，包含了以下技术点：

    1.Spark SQL架构和原理| 2.DataFrame、DataSet DSL和SQL开发| 3.Spark多数据源整合（txt、CSV、Json、parquet、JDBC、Hive）| 4.Spark SQL执行计划原理| 5.Spark SQL性能调优

    4. Kafka消息队列主要讲解消息中间件核心知识，包含了以下技术点：

    1.Kafka原理及架构分析| 2.分布式实时计算架构和思想| 3.陌陌社交场景实战| 4.社交大数据架构剖析

    5. StructedStreaming主要讲解Spark实时计算组件，整合Kafka+StructedStreaming，包含了以下技术点：

    1.流式计算基础概念| 2.Structured Streaming编程模型| 3.Structured Streaming整合Kafka| 4.Structured Streaming实时数据处理与统计分析

  • 用户画像解决方案高手班 8

    课时:12天技术点:100项测验:0次学习方式:线下面授

    学习目标

    1.掌握用户画像应用场景| 2.掌握用户画像系统架构| 3.掌握用户画像构建流程| 4.掌握用户画像规则类标签构建| 5.掌握用户画像统计类标签构建| 6.熟悉用户画像挖掘类标签构建| 7.掌握用户画像实时类标签构建| 8.掌握SeaTunnel数据同步组件| 9.掌握ES和Doris结果存储| 10.了解推荐系统使用

    项目以电商为背景，提供全方位的标签体系、完整的标签构建流程、先进的用户画像技术架构, 使用Spark+ES+Doris完成海量数据的处理及各类标签计算与存储，充分满足企业离线和实时需求，为全行业用户画像系统提供了解决方案。

    主讲解决方案

    用户画像解决方案，主要针对于泛电商或保险行业完成用户标签设计与开发，提供了全行业解决方案。课程采用由浅入深，层层递进的讲解方式，让学生轻松掌握企业级用户画像系统的设计与开发全流程，项目使用的技术栈包括Spark、ES、Doris、SeaTunnel、Kafka，均为时下主流的大数据技术。

    主讲知识点

    1.用户画像应用场景| 2.用户画像系统架构| 3.用户画像构建流程| 4.使用Spark Core开发规则类标签| 5.使用Spark Core和Spark SQL开发统计类标签| 6.使用Spark MLlib开发挖掘类标签| 7.使用Structured Streaming开发实时类标签| 8.使用SeaTunnel做数据同步| 9.使用ES和Doris存储结果数据| 10.使用Spark MLlib开发推荐系统

  • 大模型Agent应用开发高手班 9

    课时:2天技术点:40项测验:0次学习方式:线下面授

    学习目标

    掌握AI Agent构建数据分析领域智能体，助力高效数据分析

    项目借助于AI大模型Agent技术搭建AI Agent智能体，助力更加高效数据分析

    主讲解决方案

    Agent数据分析智能体

    主讲知识点

    1.基于Agent的数据库查询操作 2.大模型Function Cal原理与实现 3.Assistant APl的原理及应用

  • 面试加强高手班 10

    课时:5天 技术点:30项 测验:0次 学习方式:线下面授

    学习目标

    1.强化面试就业核心面试题| 2.梳理大数据架构及解决方案| 3.剖析多行业大数据架构

    主讲内容

    1. SQL实战解决Python大数据常见的SQL面试题，包含了以下技术点：

    1.面试题必备SQL实战| 2.SQL优化加强

    2. Hive数据分析与面试题加强解决Hive数据分析开发必备面试题，包含了以下技术点：

    1._Hive基础| 2.Hive拉链表| 3.Hive数据仓库构建示例| 4.Hive面试题

    3. Spark数据分析与面试题加强解决Spark开发必备面试题，包含了以下技术点：

    1.Spark基础| 2.Spark离线分析| 3.Spark面试题

    4. 大数据多行业架构剖析解决多行业多场景大数据架构设计，具备举一反三设计大数据架构体系能来，包含了以下技术点：

    1.数据分析流程| 2.大数据架构剖析| 3.多行业大数据架构设计| 4.大数据存储，调度等解决方案

  • 阿里云实时计算技术高手班 11

    课时:6天 技术点:80项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握基于阿里云Flink进行实时和离线数据处理、分析| 2.掌握基于阿里云Flink的多流并行处理技术| 3.掌握FlinkCDC多数据源采集技术

    主讲内容

    1. 阿里云Flink入门掌握国内最火的阿里云Flink技术，完成SQL、Python等作业提交，包含了以下技术点：

    1.阿里云账号角色授权| 2.开通Flink全托管| 3.Flink SQL作业快速入门| 4.Flink JAR作业快速入门| 5.Flink Python作业快速入门| 6.数据库实时入仓快速入门| 7.日志实时入仓快速入门

    2. Flink SQL掌握FlinkSQL流批一体开发流程，集成Flink核心窗口、水印、状态管理等高级功能，助力高效开发，包含了以下技术点：

    1.Flink SQL开发| 2.Hive + Flink SQL| 3.Watermark| 4.Checkpoint| 5.任务调度与负载均衡| 6.状态管理| 7.Flink性能监控| 8.Flink调优| 9.Flink SQL执行计划

    3. Flink作业开发掌握Flink作业开发流程，完成不同方式的作业开发和调试，包含了以下技术点：

    1.作业开发| 2.SQL作业开发| 3.JAR作业开发| 4.Python作业开发| 5.作业调试| 6.模板中心| 7.管理自定义连接器| 8.管理自定义函数（UDF）

    4. 阿里云Flink运维掌握Flink运维流程，针对不同场景通过不同解决方案，达到高效运维使用云平台，包含了以下技术点：

    1.权限管理| 2.RAM用户授权| 3.作业操作账号授权| 4.作业启动| 5.作业停止| 6.管理作业版本| 7.修改作业配置| 8.查看作业详情| 9.查看与修改作业运行状态| 10.调优诊断| 11.查看作业性能| 12.作业智能诊断| 13.配置自动调优| 14.高性能Flink SQL优化技巧| 15.作业状态管理| 16.企业级状态后端存储介绍| 17.作业状态集管理| 18.Flink State兼容性参考

  • 阿里云实时计算项目高手班 12

    课时:7天技术点:80项测验:0次学习方式:线下面授

    学习目标

    以阿里云出行项目为例： 1.了解网约车行业背景，了解黑马出行项目需求| 2.掌握黑马出行流批一体架构，学会流批一体的具体实现方式| 3.掌握从0到1进行数仓规划和搭建，极大提高实战能力| 4.掌握阿里云平台Flink和DataWorks使用| 5.掌握基于阿里云Flink的实时数据仓库开发，熟练使用Flink SQL| 6.掌握基于MaxCompute的离线数据仓库开发，熟练使用MaxCompute SQL| 7.熟悉Paimon技术并掌握项目实战应用| 8.熟悉StarRocks技术并掌握项目实战应用| 9.熟悉Flink CDC技术并掌握项目实战应用| 10.熟练使用FineBI完成大屏开发

    本项目是某出行公司基于阿里云平台打造的大数据平台。项目不仅包含实时数仓，也包含离线数仓，还包含数据建模和数据治理等内容。项目以阿里云Flink、Paimon和MaxCompute为核心打造了企业级湖仓一体、流批一体数仓系统，可以满足企业的实时和离线的所有数据统计需求。

    主讲解决方案

    通过对企业需求进行深入分析，设计符合企业需求的大数据平台，并从0到1完成大数据平台和数据仓库的搭建。项目采用阿里云Flink结合Paimon，完成实时计算和流批一体存储，采用DataWorks+MaxCompute完成离线数仓开发，使用DataWorks完成数据治理等内容，该方案对各行业大数据平台建设都有极强借鉴意义。

    主讲知识点

    1.网约车行业背景及黑马出行公司介绍| 2.黑马出行流批一体架构设计| 3.黑马出行大数据平台搭建| 4.Flink CDC介绍与使用| 5.Paimon的原理与应用| 6.StarRocks介绍与使用| 7.基于阿里云Flink和Paimon开发实时数仓| 8.基于DataWorks和MaxCompute开发离线数仓| 9.数据仓库设计与数据建模| 10.基于DataWorks的数据治理| 11.使用FineBI完成大屏开发

  • Python+大数据开发 V版本课程说明

    课程名称：主要针对：主要使用开发工具：

    课程介绍

返回课程目录

↑ 上拉查看下阶段课程

热点技术 “周”更新日志

更多Python+大数据更新日志按周更新热点/前沿技术

  • 新增2024-05-06

    · 黑马出行业务与平台介绍

  • 新增2024-04-29

    · Paimon和Hive的集成· Paimon文件操作

  • 新增2024-04-22

    · Paimon的使用

  • 新增2024-04-15

    · Paimon基本介绍 Hudi安装

  • 新增2024-03-29

    · DataX部署与使用

  • 新增2024-03-22

    · DataX Web部署与使用

专职课研团队专职教学团队

Python+大数据开发专职课研团队
人才筛选标准
python开发培训课研团队 python开发学习教研团队 python讲师团队人才标准

标准化研发人才画像
多维面试（五面）
研究院小组诊断测评
全链路面试流程监控

课研人员素质考核
课程设计考核
大纲设计考核
讲义撰写考核
视频录制考核
课堂试炼考核
产品全方位审评
考核答辩

技术开源历练
技术私享会
大牛技术沙龙
企业技术共享

Python+大数据开发专职课研团队
课程研发体系标准

信息库

应用市场调研+大
数据分析
获取前沿发展方向

课题研究库

前沿热门课题深入
剖析+技术攻坚，
保障课程前瞻性

解决方案库

基于市场主流技术研
发解决方案，
应对职场难题

项目库

基于热门行业领域联合
大牛顾问团，
研发“大厂级”项目

研发人才库

来自华为、IBM等百人大牛团，每年斥巨资，
研发行业标杆优质课程

Python+大数据开发专职课研团队
研发老师履历
Python+大数据开发专职教学团队
人才筛选标准
python大数据培训课研团队 python开发培训课研团队 python大数据研发讲师团队

标准化讲师画像初试技术深度
复试授课质量终试价值观

定制个性化考核方案讲师素质考核
视频录制考核排课、备课产出物考核
教育心理考核教学方法考核
课堂试讲考核正式授课答辩

学员满意度打分阶段课程评审
多维培养计划讲师晋升通道

教学团队独创三大教学法
讲透技术重难点

  • 情景式教学法将教学过程形象化的一种授课方法,集风趣、
    知识、故事场景于一体，可大大提高学员对
    知识的理解和吸收

  • 场景式授课通过分析场景特点、梳理场景流程、呈
    现给定场景下技术的实现3个步骤，向学
    员清晰的展现了开发的全流程。

  • Open教学法OPEN 教学法是由传智教育培训院首创的一套
    教学方法论，旨在「用更短的时间讲明白一个
    知识点」

Python+大数据开发专职教学团队
研发老师履历
专属教学服务 保障学习结果
  • 入学多维测评，
    定制专属学习计划；
    目标导向式学习，
    精准定靶不脱节；
  • 随堂诊断纠错，
    扫清理解盲点；
    智能指引式建议，
    分层教学，
    因材施教；
  • 阶段效果测评，
    消除知识薄弱点；
    循序渐进式练习，
    从理论到应用；
    随时有问必答，
    攻克技术难点；
  • 学员薄弱
    知识可视化，
    精准查漏补缺；
    BI报表数据呈现，
    精准把控教学质量。
  1. 学长学姐面对面聊就业
  2. 学习心得深度分享
    • 北京学长 17k/月

      文科生转行学计算机，薪资爆炸式提升

    • 北京学长 18k/月

      赢麻了!选择黑马学大数据，一举拿下银行offer

    • 北京学长 19.5k/月

      计算机小白的成长之路，学长有话说

    • 北京学长 24k/月

      零基础的我，如何拿下24koffer

    • 北京学长 15k/月

      30而已,怕啥!年薪22W学长转行大数据面试经!

    • 黑马学长 20k/月

      我是怎么拿下20k的？学长面试经验分享

    • 上海学长 17k/月

      "汽车评估师"跨行大数据，选对职业很重要！

    • 上海学长 24k/月

      从工厂到大厂，裸辞后凭实力逆袭24k

    查看更多经验 >

  1. 精彩班级活动
  2. 新生开班典礼
python开发培训项目课程

首页|校区分布|师资力量|关于我们|报名流程

常见问题|技术资讯

版权所有 2006 - 2024 江苏传智播客教育科技股份有限公司

苏ICP备16007882号   苏公网安备 32132202000574号