黑马程序员

全国校区

关闭python培训课程介绍视频

【Python+大数据开发课程】

数据开发比例达95%,涵盖数据开发所需工具及编程语言。语言层面包含SQL、Python;数据开发涵盖Hadoop、Hive、Spark 、Flink 多个技术生态圈,学完即可在多行业多场景完成数据开发应用。

课程
特色

Python+大数据开发
0基础登录IT「薪」赛道
不同起点学生
学后各有收获
  1. 0基础急速提升
  2. 应届生入行、长线发展
  3. 转岗快速上手
  4. 初级工程师跳槽 / 升职
  • 通过学习进入喜欢的行业,很值得!

    李同学物理老师零基础转行

  • 拒绝躺平,兴起行业,我看好大数据!

    董同学放弃稳定工作转行大数据

  • 被Python吸引,坚定的选择IT!

    文同学应届研究生成功跨行

渐进式学习
助力学生蜕变数字精英

SQL基础&Hadoop技术栈

掌握SQL技术,熟悉Linux系统,奠定大数据开发基础

千亿级离线数仓项目实战

企业级数据仓库搭建,独立完成离线数仓项目开发

Python编程

熟练掌握Python语言,解决常见Python开发问题

ETL&Spark技术栈

ETL项目实战和Spark技术,进阶高级大数据开发工程师

用户画像&PB级内存计算项目

构建用户画像解决方案,胜任常见大数据平台开发工作

Java编程&Flink技术栈

掌握Java编程和Flink技术,强化面试技巧和能力

亚秒级实时计算进阶课(赠送线上进阶课)

超3个月进阶课程,持续提升突破年薪30万
项目驱动式教学
还原真实职场氛围

锻炼学生实战能力,入职即能快速上手

高标准企业级开发流程

依托于大型项目库14大行业、16个“大厂级”项目、400+业务
指标 、220+技术点、真实业务数据

全流程项目实战项目启动>团队需求分析>实战方案设计>
小组PK>项目汇报答辩>复盘

新零售离线数仓项目

01

300 +

指标数量

1000

数据量

20

解决方案

10

课程天数
项目介绍

该项目基于国内大型新零售巨头开发的大数据平台,基于高性能解决方案构建离线数仓,包括销售、会员、商品等主题,每个主题涵盖大量真实的业务场景。项目采用Hive+Presto架构构建高性能的离线处理方案,包括CM自动部署与配置、数据仓库建模、数仓架构分层、Hive的使用和调优、Presto使用与调优、拉链表历史快照、更新数据的增量计算、Python-ETL自研系统、主流ETL开源系统、Shell脚本、Python脚本、Dolphinscheduler调度、全量增量完整流程实现等。

项目体验

电商用户画像项目

02

200

指标数量

3000

数据量

10

解决方案

9

课程天数
项目介绍

该项目基于垂直电商平台构建的用户全方位画像,完整抽取出一个用户的信息全貌业务围绕商品、订单、用户基础信息及行为信息等数据,实现用户和商品基础标签、组合标签、微观画像、标签查询等业务场景,提供了企业级多方位业务决策分析。标签体系中包涵了基础类标签,规则类标签,挖掘类标签及组合类标签,为企业数据决策及推荐系统提供支持。项目拥有完备的标签管理平台,数据接入平台,标签计算平台和调度平台等。

项目体验

在线教育湖仓一体项目

03

110

指标数量

1500

数据量

15

解决方案

8

课程天数
项目介绍

湖仓一体化项目基于在线教育行业实时数据处理和分析。项目采用流处理计算引擎Flink,实时处理千万数据量的视频流数据,基于FlinkCDC完成MySQL等数据源的数据采集,通过Hudi On Hive构建湖仓一体架构,结合数据湖和数据仓库优势,建立湖仓一体化,进而解决了数据湖的局限性。直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。项目采用Hive实现离线数据计算,采用FlinkSQL实现实时数据计算,使用流行OLAP的Doris进行海量多维分析,最终实现在在线教育行业实时分析指标体系构建。

项目体验

车联网实时数仓项目

04

161

指标数量

1800
万/15分钟

数据量

15

解决方案

8

课程天数
项目介绍

车联网项目涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务,通过 QBOX 车辆终端数据收集,并解析为 QSP 数据、QCS 数据、充电数据、HU 数据,提供实时计算服务与离线计算服务,并通过 API 接口以报表和大屏展示分析结果数据。

项目体验

金融保险离线数仓项目

05

120

指标数量

10 亿

数据量

10

解决方案

8

课程天数
项目介绍

保险精算项目需要计算海量明细保单数据,以便生成财务报表。项目使用SparkSQL来计算,时效变快,增强保险公司的商业信誉。项目将多部门的业务数据库同步到hive数据集市,使用SparkSQL加载源数据表(保单表12亿保单,客户表8千万客户等),计算保单的保费、现金价值、准备金等明细,提供给财务部门收费或支出,对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示。

项目体验
解决方案拿来直接用
开发不必从零开始
Python可以承担哪些工作
大厂教研师资团队
全程陪伴带你乘风破浪

张老师Apache Flink源码贡献者
擅长实时计算领域

赵老师985计算机硕士
擅长大数据/人工智能技术方向

李老师985计算机硕士
Apache Doris社区贡献者

曹老师Apache Flink源码贡献者
擅长大数据云平台技术领域

赵老师Apache Pulsar社区贡献者
擅长数仓领域

原老师北京大学计算机硕士
擅长大数据/人工智能领域技术

孔老师Apache DolphinScheduler社区贡献者
擅长离线数仓领域

朱老师985计算机硕士
擅长大数据/人工智能方向

百万级课程环境配置
大规模真数据体验

黑马程序员与知名云平台厂商—UCloud达成深度合作
为学生提供大规模服务器集群进行实战,硬件规模达到:

  • 200+英特尔志强
    系列CPU核心

  • 1GB/S万兆高速内网

  • 1PB+硬盘存储空间

  • 1TB+内存总量

*以上资源,年成本近百万,但黑马完全免费提供给每位学生使用,真正让每个学生都能接触【真·大规模集群】和【真·大规模数据】

好口碑python培训机构 体验python培训机构课程

课程大纲

  1. 基础班

    1. SQL基础

  2. 高手班

    1. Hadoop技术栈 2. 千亿级离线数仓项目 3. 千亿级离线数仓项目实战 4. Python编程 5. ETL实战 6. Spark技术栈 7. 用户画像解决方案 8. PB级内存计算项目实战 9. 就业指导&就业加强 10. Java编程 11. Flink技术栈 12. 亚秒级实时计算项目

  3. 进阶班

    1. 亚秒级实时进阶课

  4. Python+大数据课程升级版本3.0

  • SQL基础基础班 1

    课时:6天技术点:70项测验:1次学习方式:线下面授

    学习目标

    1. 掌握MySQL数据库的使用| 2. 掌握SQL语法| 3. 掌握Kettle数据迁移工具的使用| 4. 熟练使用BI可视化工具| 5. 对数据开发有一定认知,掌握BI工程师所具备的基本技能

    主讲内容

    1. MySQL与SQL零基础小白通过MySQL数据库,掌握核心必备SQL,包含了以下技术点:

    01_数据库概念和作用| 02_MySQL数据类型| 03_数据完整性和约束| 04_数据库、表基本操作命令| 05_表数据操作命令| 06_where子句| 07_分组聚合| 08_连接查询| 09_外键的使用

    2. Kettle与BI工具使用Kettle做数据迁移,通过BI工具展示excel、MySQL中的数据,包含了以下技术点:

    01_Kettle基本操作| 02_Kettle数据转换| 03_Kettle使用SQL脚本组件| 04_kettle Job开发| 05_FineBI基本操作| 06_FineBI常用图表| 07_FineBI仪表板| 08_综合案例

  • Hadoop技术栈高手班 1

    课时:11天技术点:120项测验:1次学习方式:线下面授

    学习目标

    1.掌握Linux常用命令,为数据开发后续学习打下的良好基础| 2.掌握大数据的核心框架Hadoop以及其生态体系,完成HDFS、MapReduce及Yarn机制基本理解与使用;能顾搭建Hadoop高可用HA集群| 3.掌握Hive的使用和调优| 4.具备Hadoop开发能力、离线数据仓库开发能力| 5.能够完成基本构建企业级数仓

    主讲内容

    1. Linux掌握Linux操作系统常用命令和权限管理,包含了以下技术点:

    01_Linux命令使用| 02_Linux命令选项的使用| 03_远程登录和远程拷贝| 04_Linux权限管理| 05_vi编辑器使用| 06_集群搭建准备

    2. 大数据基础和硬件介绍进一步阐述大数据特点与分布式思想,知识点由浅入深,包含了以下技术点:

    01_大数据的特点| 02_分布式存储概念| 03_分布式计算的概念| 04_服务器种类介绍、机架、交换机| 05_网络拓扑、Raid、IDC数据中心

    3. Zookeeper分布式软件管家,实现了集群管理与leader选举,包含了以下技术点:

    01_Zookeeper的应用场景| 02_架构和原理| 03_存储模型| 04_选举机制| 05_客户端操作| 06_ZK集群搭建

    4. HDFS分布式文件系统,解决了海量数据存储与容错,包含了以下技术点:

    01_HDFS设计的特点| 02_Master-Slave架构| 03_Block块存储、RF拷贝因子、机架感知| 04_Block拷贝策略、读写流程| 05_HDFS Federation、HDFS Snapshots、NameNode HA架构和原理| 06_HDFS管理员常用操作、HDFS权限控制| 07_HDFS普通集群以及HA集群搭建

    5. MapReduce分布式计算系统,解决海量数据的计算,包含了以下技术点:

    01_MapReduce架构和原理| 02_Split机制| 03_MapReduce并行度| 04_Combiner机制| 05_Partition机制、自定义Partition| 06_MapReduce序列化、自定义排序、数据压缩

    6. YARN分布式资源调度管理器,管理服务器软件资源,包含了以下技术点:

    01_Yarn原理和架构| 02_Yarn高可用| 03_Container资源的封装(CPU、内存和IO)| 04_资源调度策略(FIFO、Fair和Capacity)| 05_YARN高可用模式搭建

    7. Hive基础数据仓库Hive,实现企业级数仓必备工具,包含以下知识点:

    01_HQL操作| 02_数据类型| 03_分区、分桶、临时表| 04_explain执行计划详解

    8. Hive高阶数据仓库Hive高阶原理和架构深入,实现企业级数仓优化,包含以下知识点:

    01_Hive原理和架构| 02_Meta Store服务| 03_HiveServer内置函数| 04_自定义UDF和UDAF| 05_数据压缩、存储格式、自动化脚本、常见性能优化

  • 千亿级离线数仓项目高手班 2

    课时:11天技术点:105项测验:0次学习方式:线下面授

    学习目标

    1.掌握零售行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程| 2.行业内首个深度使用Presto的项目| 3.包括海量数据场景下如何优化配置| 4.拉链表的具体应用| 5.新增数据和更新数据的抽取和分析| 6.提供新零售大型商超集团的数据存储分析以及服务监控方案

    本项目基于一家大型连锁超市研发的大数据分析平台。黑马深度使用Presto的项目,为后续Presto相关课程的研发打下了坚实的基础,也为学员的就业拓宽了道路;真实的数据结构,复杂的SQL实现过程,学生学习以后可以达到离线数仓的高级开发水平。

    进入项目体验
    主讲解决方案

    掌握离线数仓的分层与建模、大数据量场景下如何优化配置,拉链表的具体应用,新增数据的抽取和分析,更新数据的抽取和分析,以及Hive函数的具体应用等。ClouderaManager可视化、自动部署和配置、Git的CodeReview功能保证项目高质量 离线数仓的分层与建模 项目涉及20多个主题,100多个指标场景 帆软BI企业级报表展示

    主讲知识点

    1.大数据部署运维:Cloudera Manager 2.分析决策需求:数据仓库 3.数据采集:sqoop 4.数据分析:Hive 5.历史数据快照:拉链表 6.数据更新后的统计分析:拉链表 7.数据调度:oozie+shell 8.OLAP系统存储:MySQL 9.FineBI数据展示

  • 千亿级离线数仓项目实战高手班 3

    课时:5天技术点:40项测验:0次学习方式:线下面授

    学习目标

    1.掌握教育行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程| 2.真实业务逻辑,共涉及20多个主题,100多个指标,提升学员在教育行业中的核心竞争力| 3.包括海量数据场景下如何优化配置| 4.拉链表的具体应用| 5.新增数据和更新数据的抽取和分析| 6.Hive函数的具体应用| 7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能

    1、建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理 2、项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序 3、挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。

    进入项目体验
    主讲解决方案

    项目介绍与环境准备、数据仓库的建模和分层、OLTP、ODS、DWD实现、Presto、DWB实现、DWS实现、DM、RPT、导出实现、Oozie架构与部署及使用。使用Hive、Presto、Oozie、数仓技术栈,提供新零售大型商超集团的数据存储分析以及服务监控方案

    主讲知识点

    1.大数据部署运维:Cloudera Manager 2.分析决策需求:数据仓库 3.数据采集:sqoop 4.数据分析:Hive+presto 5.历史数据快照:拉链表 6.数据更新后的统计分析:拉链表 7.数据调度:ds 8.OLAP系统存储:MySQL 9.FineBI数据展示

  • Python编程高手班 4

    课时:10天技术点:156项测验:2次学习方式:线下面授

    学习目标

    1.掌握Python开发环境基本配置| 2.掌握运算符、表达式、流程控制语句、数组等的使用| 3.掌握字符串的基本操作| 4.初步建立面向对象的编程思维| 5.熟悉异常捕获的基本流程及使用方式| 6.掌握类和对象的基本使用方式 7.掌握网络编程技术,能够实现网络通讯| 8.知道通讯协议原理 | 9.掌握开发中的多任务编程实现方式| 10. 知道多进程多线程的原理A

    主讲内容

    1. Python基础语法零基础学习Python的开始,包含了以下技术点:

    01_变量| 02_标识符和关键字| 03_输入和输出| 04_数据类型转换| 05_PEP8编码规范| 06_比较/关系运算符| 07_if判断语句语法格式| 08_三目运算符| 09_while语句语法格式| 10_while 循环嵌套| 11_break 和 continue| 12_while 循环案例| 13_for循环

    2. Python数据处理掌握Python的数据类型,并对其进行操作处理,包含了以下技术点:

    01_字符串定义语法格式| 02_字符串遍历| 03_下标和切片| 04_字符串常见操作| 05_列表语法格式| 06_列表的遍历| 07_列表常见操作| 08_列表嵌套| 09_列表推导式| 10_元组语法格式| 11_元组操作| 12_字典语法格式| 13_字典常见操作| 14_字典的遍历

    3. 函数能够实现Python函数的编写,包含了以下技术点:

    01_函数概念和作用、函数定义、调用| 02_函数的参数| 03_函数的返回值| 04_函数的注释| 05_函数的嵌套调用| 06_可变和不可变类型| 07_局部变量| 08_全局变量| 09_组包和拆包、引用

    4. 文件读写能够使用Python对文件进行操作,包含了以下技术点:

    01_文件的打开与关闭、文件的读写| 02_文件、目录操作及案例| 03_os模块文件与目录相关操作

    5. 异常处理主要介绍了在Python编程中如何处理异常,包含了以下技术点:

    01_异常概念| 02_异常捕获| 03_异常的传递

    6. 模块和包主要介绍了Python中的模块和包的体系,以及如何使用模块和包,包含了以下技术点:

    01_模块介绍| 02_模块的导入| 03_包的概念| 04_包的导入| 05_模块中的__all__| 06_模块中__name__

    7. 面向对象从逐步建立起面向对象编程思想,再到会使用对象,到创建对象,再到真正理解为什么封装对象,包含了以下技术点:

    01_面向对象介绍| 02_类的定义和对象的创建| 03_添加和获取对象属性| 04_self 参数| 05_init方法| 06_继承| 07_子类方法重写| 08_类属性和实例属性| 09_类方法、实例方法、静态方法

    8. 网络编程主要学习通讯协议,以及Python实现TCP、HTTP通讯,包含了以下技术点:

    01_IP地址的介绍| 02_端口和端口号的介绍| 03_TCP的介绍| 04_Socket的介绍| 05_TCP网络应用的开发流程| 06_基于TCP通信程序开发|

    9. 多任务编程主要学习Python中多线程、多进程,包含了以下技术点:

    01_多任务介绍| 02_多进程的使用| 03_多线程的使用| 04_线程同步

    10. 高级语法主要学习Python的高级语法,包含以下技术点:

    01_闭包| 02_装饰器| 03_迭代器| 04_深浅拷贝| 05_正则

    11. Python编程综合项目通过前边所学知识,完成综合案例,锻炼编程能力、培养编程思维

    01_Python编程综合项目

  • ETL实战高手班 5

    课时:5天技术点:48项测验:0次学习方式:线下面授

    学习目标

    1. 掌握ETL的相关概念| 2. 掌握基于Python语言完成ETL任务开发实战| 3. 基于ETL实战锻炼Python编程能力,包括(元数据管理、数据模型、项目配置、单元测试、工具方法抽取等)| 4. 掌握BI数据分析实战

    ETL项目基于国内某大型零售企业旗下出品各类收银机为基础,在全国十多个省份有上50万家店铺使用,机器通过联网每次将售卖商品数据上传到公司后台.利用ETL平台完成数据抽取转化加载工作,助力学生达到初中级ETL工程师目标。

    进入项目体验
    主讲解决方案

    完整PythonETL解决方案,Kettle数据采集解决方案。DS调度解决方案,基于FineBi的BI解决方案。

    主讲知识点

    1.ETL概念与工具| 2.Python ETL实战| 3.基于FineBI完成数据分析实战| 4.将收银机上传到后台的<订单>数据采集到数仓中| 5.将后台中的商品库数据采集到数仓中| 6。将后台的程序日志采集到数仓中

  • Spark技术栈高手班 6

    课时:8天技术点:108项测验:1次学习方式:线下面授

    学习目标

    1.掌握Spark的RDD、DAG、CheckPoint等设计思想| 2.掌握SparkSQL结构化数据处理,Spark On Hive| 3.掌握Structured Streaming整合多数据源完成实时数据处理| 4.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力

    主讲内容

    1. Spark基础本阶段学习Spark环境搭建及以下知识点:

    01_Spark基础环境搭建| 02_Spark的Standalone环境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn环境搭建

    2. Spark Core整个spark框架核心部分,掌握框架内部设计思想,数据流转步骤,是学习spark的基础模块,包含了以下技术点:

    01_Spark架构和原理(运行机制、Driver和Executor、spark任务提交流程)| 02_RDD开发和原理(Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制)广播变量 | 03_DAG原理(DAG思想、DAG的生成、DAG的处理过程)

    3. Spark SQL学习spark框架的SQL操作,spark与Hive等外部数据源的整合操作,包含了以下技术点:

    01_Spark SQL架构和原理| 02_DataFrame、DataSet DSL和SQL开发| 03_Spark多数据源整合(txt、CSV、Json、parquet、JDBC、Hive)| 04_Spark SQL执行计划原理| 05_Spark SQL性能调优

    4. SparkSQL案例践行场景式教学,运用了Spark阶段知识点,使用lambda加解决数据分析的应用,包含了以下技术点:

    01_Spark多场景案例实战

  • 用户画像解决方案高手班 7

    课时:8天技术点:80项测验:0次学习方式:线下面授

    学习目标

    1.SparkSQL整合ES自定义数据源| 2.DS任务界面化调度| 3.用户画像标签构建规则| 4.用户画像规则类标签构建| 5.用户画像统计类标签构建

    通过用户画像解决方案,完成数据存储和分析、用户标签。

    进入项目体验
    主讲解决方案

    用户画像解决方案,主要针对于保险行业完成用户标签设计,提供了全行业解决方案,课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业级用户画像的使用, 使用SparkSQL+ES+DS构建企业级用户画像。

    主讲知识点

    1. SparkSQL整合ES自定义数据源 2. DS任务界面化调度 3. 用户画像标签构建规则 4. 用户画像规则类标签构建 5. 用户画像统计类标签构建

  • PB级内存计算项目实战高手班 8

    课时:5天技术点:88项测验:0次学习方式:线下面授

    学习目标

    1.快速搭建保险行业大数据平台| 2.基于Hive+Spark SQL搭建离线数据仓库| 3.基于SparkSQL应对轻松应对复杂的迭代计算| 4.完成基于国内头部保险公司大数据项目开发| 5.掌握基于Spark分析12亿报单表和8千万客户等数据| 6.对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示| 7.离线数仓项目实战| 8.用户画像项目实战

    保险精算项目需要计算海量明细保单数据,以便生成财务报表。项目使用SparkSQL来计算,时效大大提高,增强保险公司的商业信誉。项目将多部门的业务数据库同步到Hive数据集市,使用SparkSQL加载源数据表(保单表12亿保单,客户表8千万客户等),计算保单的保费、现金价值、准备金等明细,提供给财务部门收费或支出,最后对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示。

    进入项目体验
    主讲解决方案

    项目核心架构和业务流程、Hive数仓建模 、Sqoop数据同步开发 DolphinScheduler任务调度、使用lag,sum等窗口函数 、使用UDAF函数计算有效保单数字段、计算现金价值、计算和准备金、分区表的使用 、指标汇总计算 、Shuffle优化、用户画像解决方案。

    主讲知识点

    基于Spark轻松应对保险复杂的迭代计算、基于SparkSQL完成用户画像实战、基于ES完成标签存储与检索

  • 就业指导&就业加强高手班 9

    课时:5天技术点:40项测验:0次学习方式:线下面授

    学习目标

    1.强化面试就业核心面试题 2.梳理大数据架构及解决方案| 3.剖析多行业大数据架构

    主讲内容

    1. SQL实战解决Python大数据常见的SQL面试题,包含了以下技术点:

    01_面试题必备SQL实战| 02_SQL优化加强。

    2. Hive数据分析与面试题加强解决Hive数据分析开发必备面试题,包含了以下技术点:

    01_Hive基础| 02_Hive拉链表| 03_Hive数据仓库构建示例| 04_Hive面试题

    3. Spark数据分析与面试题加强解决Spark开发必备面试题,包含了以下技术点:

    01_Spark基础| 02_Spark离线分析| 04_Spark面试题

    4. NoSQL数据分析与面试题加强解决NoSQL常见的面试题,从消息队列到HBase掌握关键原理,包含了以下技术点:

    01_Kafka基础| 02_HBase基础| 03_HBase面试题

    5. 大数据多行业架构剖析解决多行业多场景大数据架构设计,具备举一反三设计大数据架构体系能来,包含了以下技术点:

    01_数据分析流程| 02_大数据架构剖析| 03_多行业大数据架构设计| 04_大数据存储,调度等解决方案

  • Java编程高手班 10

    课时:10天技术点:50项测验:1次学习方式:线下面授

    学习目标

    1.掌握Java基本语法| 2.掌握面向对象编程| 3.使用Java实现与Kafka的交互

    主讲内容

    1. Java编程语法学习并掌握大数据开发所需的Java编程语法,包含的内容如下:

    01_开发环境基本配置| 02_运算符/表达式/流程控制| 03_变量及方法| 04_Lambda表达式| 05_数组与集合| 06_面向对象及常用类| 07_JDBC| 08_多线程| 09_Maven

  • Flink技术栈高手班 11

    课时:6天技术点:88项测验:1次学习方式:线下面授

    学习目标

    1.掌握基于Flink进行实时和离线数据处理、分析| 2.掌握基于Flink的多流并行处理技术| 3.掌握千万级高速实时采集技术

    主讲内容

    1. Flink Core新一代批流统一数据处理引擎,在计算效率和性能都有很大提升,包含了以下技术点:

    01_Flink基础

    2. Flink DataStream构成了Flink解决实时数据处理部分,是掌握实时数据处理必备技能,包含了以下技术点:

    01_Flink DataStream的使用| 02_Kafka + Flink

    3. Flink SQL解决Flink中的SQL化开发,Flink-SQL开发必备技能,包含了以下技术点:

    01_Flink SQL开发| 02_Hive + Flink SQL

    4. Flink Runtime是对Flink任务进行调优,必须掌握的内容,包含了以下技术点:

    01_Watermark| 02_Checkpoint| 03_任务调度与负载均衡| 04_状态管理

    5. Flink高级解决Flink性能监控等高阶知识,具备实时数据分析必备技能,包含以下技术点:

    01_Flink性能监控| 02_Flink调优| 03_Flink SQL执行计划

    6. Flink电商案例实战践行场景式教学,运用了Flink阶段知识点,解决实时数据分析的应用,包含了以下技术点:

    01_Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL实战

  • 亚秒级实时计算项目高手班 12

    课时:7天技术点:80项测验:0次学习方式:线下面授

    学习目标

    1.湖仓一体化解决方案基于Flink+Hudi湖仓一体技术架构| 2.基于FlinkCDC完成MySQL等数据源的数据采集| 3.FlinkSQL流批一体架构实现实时数据计算| 4.使用Apache Doris进行海量多维分析| 5.掌握数据报表分析| 6.掌握业务数据实时大屏场景实现

    基于Flink+Hudi湖仓一体技术架构,实现了在线视频行业实时数据处理和分析。项目采用流处理计算引擎Flink,实时处理千万数据量的视频流数据,基于FlinkCDC完成MySQL等数据源的数据采集,通过Hudi On Hive构建湖仓一体架构,结合数据湖和数据仓库优势,建立湖仓一体化。

    主讲解决方案

    Flink,FlinkSQL,FlinkCDC,Doris,Hudi,Hudi,on Hive,FIneBI

    主讲知识点

    采集超过千万条在线视频的数据,实时高性能海量数据分析与存储业务数据实时大屏场景实现。

  • 亚秒级实时进阶课进阶班 1

    课时:106天技术点:1000项测验:0次学习方式:线上学习

    学习目标

    1.线上3个月进阶大数据实时开发,多行业大数据项目助力企业数字人才精英| 2.皆在成就实时开发工程师,大数据架构师等,帮助学员成为站在金字塔顶端的实时工程师

    主讲内容

    1. 大数据Java语言大数据生态多语言开发,为进阶实时数据开发奠定基础

    1_编程基础| 2_面向对象| 3_常用类| 4_集合操作| 5_IO操作| 6_Java基础增强| 7_JDBC| 8_Maven| 9_爬虫案例

    2. 数据采集掌握实时计算中组件,数据开发工程师重要技能

    1_Flume| 2_DataX| 3_实时采集

    3. NoSQL&消息中心分布式存储和消息队列专项课,从原理到源码,助力多场景存储技术架构选型,升值加薪必备技能。

    1_分布式缓存Redis| 2_消息队列Kafka| 3_Hbase| 4_ELK技术栈| 5_消息队列Pulsar

    4. 实时OLAP框架掌握实时OLAP框架,数据开发工程师重要技能。

    1_实时OLAP框架ClickHouse| 2_实时OLAP框架Doris

    5. 数据湖开发数据湖技术专题课程,完成湖仓一体架构进阶。

    1_Hudi 基础入门篇| 2_Hudi 应用进阶篇| 3_Hudi 实战案例篇

    6. Flink技术栈Apache Flink作为当下流行的实时技术,深度剖析底层原理,实现高级实时开发工程师进阶。

    1_Flink基础| 2_Flink DataStream的使用| 3_Kafka + Flink| 4_Flink SQL开发| 5_Hive + Flink SQL| 6_Flink CDC| 7_Flink CEP /Flink CEP SQL| 8_Watermark| 9_Checkpoint| 10_任务调度与负载均衡| 11_状态管理| 12_Flink性能监控

    7. FlinkSQL原理到精通全网流批一体架构FlinkSQL,进阶技术+业务专家。

    1_Flink SQL开发| 2_Hive + Flink SQL| 3_Flink性能监控| 4_Flink调优| 5_Flink SQL执行计划| 6_FlinkSQL案例实战

    8. 星途车联网实时项目掌握车联网大数据实时业务场景开发,助力物联网行业高薪挑战。

    1_Hive| 2_HBase| 3_HDFS数据存储| 4_Kafka数据传输| 5_Flink全栈数据处理| 6_Nginx做反向代理| 7_LSV和Keepalived负载均衡和高可用

    9. 今日指数证券实时项目掌握金融业务数据实时场景实,助力金融行业高薪挑战。

    1_创建原始数据hbase的二级索引| 2_Flink业务分析驾驶行程划分| 3_flink驾驶行程业务分析| 4_将实时车辆中在围栏中的车辆信息与mysql中已存在围栏中的车辆信息合并| 5_TimeWindow流连接广播状态流结果流连接省、市广播状态流

    10. 基于DataWorks全链路数据开发掌握智慧出行实时项目业务数据实时场景,覆盖全网所有DataWorks平台大数据。

    1_智慧出行实时项目业务数据实时场景异构数据源采集| 2_基于DataWorks的大数据平台设计| 3_出行行业可视化完整架构,涵盖全生命周期项目

    11. 湖仓一体化解决方案掌握基于湖仓一体的在线视频实时分析项目,助力大数据新技术企业应用。

    1_湖仓一体完整解决方案| 2_基于Flink的在线视频数据处理与分析| 3_基于Hidi的在线视频数据数据湖构建

    12. Flink源码剖析全网Flink源码课程大全,从原理到源码,深挖技术底层,助力Flink性能调优,大数据架构师必备技能。

    1_Apache Flink设计理念与基本架构| 2_Flink DataStream的设计与实现源码分析| 3_Flink 运行时的核心原理与实现| 4_Flink 任务提交与执行| 5_状态管理与容错| 6_网络通信| 7_内存管理

    13. Flink二次开发掌握Flink二次开发流程,个性化解决企业大数据平台技术选型,助力在职的你持续高薪,大数据架构师必备技能。

    1_基于PyFlink的PR提交| 2_Flink的源码二次开发流程| 3_Flink的源码二次开发需求分析| 4_Flink的源码二次开发实现过程| 5_PyFlink相关功能二次开发

  • Python+大数据开发 V版本课程说明

    课程名称:主要针对:主要使用开发工具:

    课程介绍

返回课程目录

↑ 上拉查看下阶段课程

热点技术 “周”更新日志

Python+大数据更新日志按周更新热点/前沿技术

  • 新增2023-01-29

    · Oracle序列· Oracle同义词

  • 新增2023-01-18

    · Oracle视图· Oracle物化视图

  • 新增2023-01-10

    · Oracle数据定义语言· Oracle常见对象

  • 新增2023-01-04

    · Oracle基础· Oracle的查询语法及综合案例

  • 新增2022-12-27

    · Hive的explain执行计划详解· Hive数据压缩、存储格式、自动化脚本、常见性能优化内容优化

专职课研团队专职教学团队

Python+大数据开发专职课研团队
人才筛选标准
python开发培训课研团队 python开发学习教研团队 python讲师团队人才标准

标准化研发人才画像
多维面试(五面)
研究院小组诊断测评
全链路面试流程监控

课研人员素质考核
课程设计考核
大纲设计考核
讲义撰写考核
视频录制考核
课堂试炼考核
产品全方位审评
考核答辩

技术开源历练
技术私享会
大牛技术沙龙
企业技术共享

Python+大数据开发专职课研团队
课程研发体系标准

信息库

应用市场调研+大
数据分析
获取前沿发展方向

课题研究库

前沿热门课题深入
剖析+技术攻坚,
保障课程前瞻性

解决方案库

基于市场主流技术研
发解决方案,
应对职场难题

项目库

基于热门行业领域联合
大牛顾问团,
研发“大厂级”项目

研发人才库

来自华为、IBM等百人大牛团,每年耗资亿元,
研发行业标杆优质课程

Python+大数据开发专职课研团队
研发老师履历
Python+大数据开发专职教学团队
人才筛选标准
python大数据培训课研团队 python开发培训课研团队 python大数据研发讲师团队

标准化讲师画像初试技术深度
复试授课质量终试价值观

定制个性化考核方案讲师素质考核
视频录制考核排课、备课产出物考核
教育心理考核教学方法考核
课堂试讲考核正式授课答辩

学员满意度打分阶段课程评审
多维培养计划讲师晋升通道

教学团队独创三大教学法
讲透技术重难点
  • 情景式教学法将教学过程形象化的一种授课方法,集风趣、
    知识、故事场景于一体,可大大提高学员对
    知识的理解和吸收

  • 场景式授课通过分析场景特点、梳理场景流程、呈
    现给定场景下技术的实现3个步骤,向学
    员清晰的展现了开发的全流程。

  • Open教学法OPEN 教学法是由传智教育培训院首创的一套
    教学方法论,旨在「用更短的时间讲明白一个
    知识点」

Python+大数据开发专职教学团队
研发老师履历
专属教学服务 保障学习结果
  • 入学多维测评,
    定制专属学习计划;
    目标导向式学习,
    精准定靶不脱节;
  • 随堂诊断纠错,
    扫清理解盲点;
    智能指引式建议,
    分层教学,
    因材施教;
  • 阶段效果测评,
    消除知识薄弱点;
    循序渐进式练习,
    从理论到应用;
    随时有问必答,
    攻克技术难点;
  • 学员薄弱
    知识可视化,
    精准查漏补缺;
    BI报表数据呈现,
    精准把控教学质量。
  1. 学习分享
  2. 班级活动
  3. 开班典礼
python开发培训项目课程

首页|校区分布|师资力量|关于我们|报名流程

常见问题|技术资讯

版权所有 2006 - 2023 江苏传智播客教育科技股份有限公司

苏ICP备16007882号-1  苏公网安备 32132202000574号