新增2022-08-09

· 核心业务流程· sparksql分析引擎· 数仓六层模型

新增2022-08-01

· 自动导入oracle数据 · 自动创建文件目录· 记录自动化过程日志

新增2022-08-01

· 自动导入oracle数据 · 自动创建文件目录· 记录自动化过程日志

新增2022-07-25

· 自动创建hive表· 自动创建hive分区· 自动关联hdfs数据

新增2022-07-18

· 数仓建模方法论· 日期维度程序生成· 维度模型选型

新增2022-07-11

· docker虚拟网桥与网卡· 宿主机与docker容器 · 创建大数据组件容器

新增2022-07-04

· 行程地理区域维度· 组织机构维度· 服务网点维度

新增2022-06-28

· 加油站维度· 服务属性维度· 物流公司维度· 故障维度

新增2022-06-28

· 加油站维度· 服务属性维度· 物流公司维度· 故障维度

新增2022-06-21

· 数仓整体设计图· 技术选型设计图· 项目原始数据库结构图

新增2022-06-14

· ODS建模后，使用SQOOP导入数据· DWD根据业务使用全量表、增量表、拉链表等不同的方式实现· DWB层的订单明细表关联了订单表、订单副表、订单组表、店铺表、地区表、订单商品快照表等· 商品明细表关联了商品表、商品分类表（三层分类）、商品品牌表等

升级2022-06-07

· 使用新版数据库，包含完整的订单、商品、用户、配送及支付、退款等数据· 实战提取订单相关的指标和维度  · Flink多语言开发· Flink监控调优

新增2022-05-31

· Flink背压机制· Flink内存管理· Python语言操作Flink

新增2022-05-24

· FlinkSink新特性· FlinkSQL整合Hive· 分层规范，通过对数据业务的分析，将数仓分为ODS, DWD, DWB, DM, APP五层

新增2022-05-17

· FlinkSQL&Table理论部分比重，移除过期API,使用新版API · FlinkSQL整合Kafka案例· 双流Join知识点和案例分层规范，通过对数据业务的分析，将数仓分为OD· S, DWD, DWB, DM, APP五层

新增2022-05-10

· Flink版本为1.14· 弱化DataSetAPI讲解,加强DataStreamAPI-流批一体新特性的讲解· 移除过期API,增加DataStream、Window、Watermaker新版API使用讲解

新增2022-05-03

· 实时业务-实时统计Top10热点题· 实时业务-实时统计答题最活跃的Top10年级· 实时业务-实时统计Top10热点题及所属科目

新增2022-04-26

· 数据模拟程序写入到Kafka· 实时分析学生答题情况· StructuredStreaming实时分析入口程序· python完成电商行业ETL实战· ETL基础概念· ETL完成的Pipeline构建流程

新增2022-04-19

· 结构化流更新，删除Rate数据源-文件数据源· 删除企业不常用SparkStreaming

新增2022-04-12

· Spark中Continuous Processing· Spark3.2新特性· Spark性能调优九项原则、数据倾斜、shuffle优化· 新增Spark教育行业案例，方便学员掌握RDD和DataFrame的使用

新增2022-04-05

· StructuredStreaming 处理延迟数据和水印· StructuredStreaming 结构化流数据和静态数据Join· StructuredStreaming 结构化流数据和结构化路数据Join

新增2022-03-29

· 离线业务分析-各科目热点题分析· 离线业务分析-各科目推荐题分析

新增2022-03-22

· StructuredStreaming 物联网设备数据分析案例· StructuredStreaming 基于事件时间的窗口

新增2022-03-15

· SparkSQL底层执行原理· StructedStream结构化流内容· Pandas的教育案例数仓实战

升级2022-03-08

· 升级Spark版本到3.2· 升级Spark的主流开发语言为Python· 优化Spark的Standalone方式安装,使用local和yarn模式· Spark3.2整合Hive3.1.2版本兼容问题

新增2022-03-01

· MySQL的教育案例数仓实战· Pandas基础使用,作为理解Spark数据类型的基础· Pandas的Series数据结构· 增加在线教育案例

新增2022-02-25

· Python版本Hbase的API调用· Python的教育案例数仓实战· StructuredStreaming Sink内容· StructuredStreaming 整合Kafka

新增2022-02-18

· Flume采集MoMo数据集场景· 实时和离线方式处理数据场景· Python版本Kafka的调用· NoSQL阶段多场景项目实战

新增2022-02-11

·Flume1.9数据采集方式· Hbase2.x新特性

升级

· Hbase的BulkLoader全量数据加载方式

新增2022-02-04

·Python版本MapReduce写法

新增2022-01-28

· python脚本实现增量从oracle导入数据到hdfs中· python脚本实现全量从oracle导入数据到hdfs中· python脚本实现上传avro文件到hdfs上

新增2022-01-21

· python脚本实现压缩表的avro文件为tar.gz文件· python脚本实现avro压缩文件上传hdfs· python实现读取oracle表原始数据· python实现创建hive表· python实现创建hive表

新增2022-01-14

· python实现自定义记录日志· python实现读取一行行文本文件工具类· python读取表信息转对象方法· python实现sparksql创建数据库和表· python实现sparksql创建分区关联表对应的hdfs数据方法

新增2022-01-07

· python实现sparksql查询ods层明细数据并加载到dwd层方法· python实现sparksql查询ods层明细数据并加载到dwd层方法· 造数据平台· 新特殊字段类型

新增2021-12-24

· 字段类型· flink源码前置基础· 源码的编译和部署· flink启动脚本的解读· yarn-per-job模式解析

新增2021-12-17

· flink任务调度机制· flink内存模型· HIve3新特性· Hive3数据压缩，存储格式等内容· Hadoop3新特性

新增2021-12-10

· 概念和通用api介绍· sqlclient工具的使用· catalogs知识点的学习· 流处理中的概念介绍

新增2021-12-03

· flinksql中的窗口使用（Application Mode）· FlinkSQL函数操作· Flinksql连接到外部系统· flinksql的原理和调优· sql操作参考

新增2021-11-26

· flink on yarn的第三种部署方式（Application Mode）· 自定义source· transformation算子minby和maxby· transformation算子minby和maxby· flink的global window的操作

新增2021-11-19

· flink内置水印函数的操作· flink的window的ReduceFunction· flink的window的AggregateFunction· flink的window的ProcessWindowFunction· flink的window的具有增量聚合的ProcessWindowFunction

新增2021-11-12

· flink的window的在 ProcessWindowFunction 中使用每个窗口状态· flink的state的ttl机制· flink的state的数据结构的api升级例· flink的Queryable State知识点· 异步io的vertx框架实现

新增2021-11-05

· flink的join操作· Streaming File Sink连接器的小文件操作· 数据类型及序列化的原理和实现案例· 热门销售排行TopN的使用案例· 布隆过滤器结合TTL的使用案例

新增2021-10-29

· PySpark的安装· PySpark任务提交方式· PySpark多种模式spark-submit· PySpark多种模式spark-submit

新增2021-10-22

· Anaconda安装使用· Python实现RDD的基础的Transformation操作· Python实现RDD的Action操作· Python实现Sougou分词案例· Python实现IP热度分析案例

新增2021-10-15

· Python实现PV-UV-TOPK案例· Python实现累加器及案例优化· Python实现广播变量案例及优化· Python实现缓存案例及优化实现· PySparkSQL实现基础统计操作

新增2021-10-08

· PySpark实现DataFrame的基础操作· PySpark实现DataFrame的wordcount操作· PySpark实现DataFrame和RDD的转换操作· PySpark实现电影评分数据集分析

新增2021-09-24

· PySpark的底层Dataframe如何转化为RDD的原理操作· PySparkSQL的优化方式· PySparkSQL分布式引擎实现· PySparkSQL与HIve整合· PySpark离线教育案例

新增2021-09-17

· PySpark新零售分析案例· ETL、ELT区别· Hive CTE表达式、更新union联合查询· 大数据5V特点· 大数据多个应用场景

更新2021-09-10

· pandas及可视化课程迭代至v2.01· 数据分析多场景项目迭代至v1.81 · 最新版Python基础编程v2.01· 最新版Python编程进阶更新迭代至v2.01· 制定v2.0版本课程大纲

升级2021-09-03

· 完善flink的运行架构内容· 完善flink与kafka连接器的操作· 完善flink的window操作的讲义· 完善ODS层，新增和更新抽取方式，画图错误

更新2021-08-27

· Flink版本为1.13最新版· Flink table sql的整体概述 · 项目开发语言为spark官方使用最多的python语言

更新2021-08-20

· Spark语言为官方使用最多的Python语言· Spark版本为3.1.2发行版，Hive3.1.2版本

优化2021-08-13

· 升级HDFS读写流程原理图· 升级Hadoop为最新3.3.0版本· 升级编排Linux2天讲义升级编排Linux2天讲义· 升级Mysql RPM安装方式以支持hive3

优化2021-08-06

· 优化Hive知识点案例 同步为Hive3版本· 优化Linux基础命令，删除了不常用命令· 优化使用Python实现MR原理机制

优化2021-08-03

· 优化OLAP、OLTP区别· 优化Hadoop版本安装及注意事项· 优化Hadoop版本安装及注意事项· 优化Hive版本为最新的3.1.2版本

优化2021-07-27

· 优化HIve3.x架构· 优化PySpark执行流程，引入Py4J技术· 优化车联网Web展示部分· 优化车联网离线Hive数仓构建部分

新增2021-07-20

· 新增数仓整体设计图· 新增技术选型设计图· 新增项目原始数据库结构图

新增2021-07-13

· 新增油站维度· 新增服务属性维度· 新增物流公司维度· 新增故障维度

新增2021-07-06

· 新增行程地理区域维度· 新增组织机构维度· 新增服务网点维度· 新增数仓建模方法论· 新增日期维度程序生成

新增2021-06-29

· 新增维度模型选型· 新增自动创建hive表· 新增自动创建hive分区· 新增自动关联hdfs数据· 新增自动导入oracle数据

新增2021-06-22

· 新增自动创建文件目录· 新增记录自动化过程日志· 新增java和数据结构大数据题目4个· 新增算法题目4个· 新增Hadoop题目6个

新增2021-06-15

· 新增hive题目3个· 新增spark题目7个· 新增flink题目4个· 新增其他大数据组件题目4个· 新增美团大数据架构

新增2021-06-08

· 新增平安大数据架构解决方案· 新增小米大数据架构解决方案· 新增百度广告业务场景大数据架构解决方案

新增2021-06-01

· 新增Flume1.9数据采集方式· 新增Flume采集MoMo数据集场景· 新增实时和离线方式处理数据场景· 新增SparkWebUI功能解释

新增2021-05-25

· 新增SparkSQL比重· 新增StructedStream双流Join知识点· 新增Spark多语言开发-JavaSpark和PySpark

新增2021-05-18

· 新增SparkMlLib-ALS推荐算法案例和原理· 新增SparkMlLib-线性回归算法案例和原理· 新增SparkMlLib-决策树算法案例和原理

新增2021-05-11

· 新增Spark3.0新特性· 新增Spark性能调优九项原则、N多配置参数、数据倾斜、shuffle优化· 新增IP查询案例

新增2021-05-04

· 新增教师案例Spark案例· 新增DataStream、Window、Watermaker新版API使用讲解· 新增FlinkSQL&Table理论部分比重，使用新版API· 新增FlinkSQL整合Kafka案例· 新增双流Join知识点和案例

新增2021-04-26

· 新增Execl数据分析，整合Execl图标、透视表等使用· 新增Execl分析项目· 数据仪表板展示· 新增Tableau的BI分析工具及项目实战

新增2021-04-19

· 新增数据分析的Python语言· 新增Python基础语法与高级特性· 新增Python整合SQL的操作及案例· 新增网络爬虫数据采集基础及案例

新增2021-04-12

· 新增Python高阶语法支持· 新增Selenium自动化工具开发· 新增多场景爬虫项目实战· 新增Python的Numpy及Pandas数据分析框架

新增2021-04-05

· 新增Pandas数据清洗，数据整理及案例实战· 新增Matplotlib等数据可视化操作及案例实战· 新增Python机器学习原理理解，增加回归、分类及聚类· 算法原理

新增2021-03-29

· 新增Python机器学习库Sklearn多任务实战· 新增零售行业数据分析及挖掘项目案例· 新增电商行业数据分析及挖掘项目案例

新增2021-03-15

· 腾讯聊天机器人· 腾讯文字识别· python操作mycat· 小程序开发

新增2021-03-08

· django_extensions使用· axios网易案例· 阿里云方案· django-channels使用

新增2021-03-01

· pytest自定义插件使用· pytest异步调用· pytest定时执行· pytest标记使用

升级2021-02-22

· Cookie和Session使用 · Django类装饰器· Django多对多查询· Django关联查询

升级2021-02-15

· 推荐算法 · 数据可视化· sql数据查询· H5语法

升级2021-02-08

· 美多状态保持 · Django框架请求对象获取数据· Django模版· Django拓展类

新增2021-02-01

· asyncio编程 · RabbitMQ的Confirm机制· RocketMQ使用· Celery定时任务

增加2021-01-25

· Angular管道 · Angular路由· Angular使用HTTP· Angular表单

增加2021-01-18

· Ant Design · TypeScript类型断言制· TypeScript内置对象· TypeScript代码检查

升级2021-01-11

· Django认证 · Django权限控制· 美多商城发送短信· 美多商场QQ登录

优化2021-01-04

· SQL查询 · 数据仓库· 业务报表· Pandas

新增2020-12-28

· 机器学习排序算法 · 购物篮分析· RFM模型· K均值聚类算法

新增2020-12-21

· 物品画像 · 用户画像· 召回算法· 漏斗分析

升级2020-12-14

· 状态保持 · 权限管理· 页面静态化· xpath工具

升级2020-12-07

· 极验验证 · jieba分词· shell代码发布· 对象存储

新增2020-11-30

· ES集群搭建 · IK中文分词· ES聚合查询· ES冻结解冻索引

新增2020-11-23

· Kafka Broker集群 · Topic模型· kafka数据备份· kafka消息持久化

升级2020-11-16

· pandas的apply方法 · pandas的transform方法· pandas的to_numeric函数· Pandas内置聚合方法

升级2020-11-09

· elk日志监控 · shell代码发布· ubuntu版本20.04· 移动端测试

优化2020-11-02

· mysql读写分离 · reids哨兵· redis安全限制· Keepalived非抢占模式

新增2020-10-26

· VIP脑裂 · MyCAT使用· WA配置使用· redis持久化

新增2020-10-19

· HA Cluster高可用集群 · Keepalived使用· VRRP协议· nginx服务切换

升级2020-10-12

· fastDFS使用 · shell使用 · docker使用· nginx使用

升级2020-10-05

· cookie和session案例 · mysql主从 · mysql集群· redis主从

升级2020-09-28

· Django用户权鉴 · Django表单 · Django-froms· Django站点管理

新增2020-09-07

· Ansible使用 · AWX使用 · ceph使用· zabbix使用

升级2020-08-31

· 登录判断中间件 · cache缓存使用 · 购物车数据存储· git冲突解决

新增2020-08-24

· pyautogui使用 · uiautomator使用 · PO模式· mock测试

新增2020-08-17

· Django转换器 · Django用户认证拓展类 · Django权限认证拓展类· Haystack搜索类

升级2020-08-10

· python操作reids · redis高可用 · redis集群搭建· redis持久化

升级2020-08-03

· mysql事务使用 · mysql主从搭建 · mysql客户端使用 · mysql外键操作

新增2020-07-27

· mongodb聚合 · mongodb索引 · mongodb权限· 常见反爬手段

新增2020-07-20

· 缓存击穿 · 缓存雪崩 · 雪花算法 

升级2020-07-13

· Locust 性能测试 shell编程 · msyql数据库 · redis缓存 ·

升级2020-07-06

· redis集群 · gitfollow工作流 · 定时爬虫 · elk

升级2020-06-29

· 响应对象的处理 · 细化Cookie及Session的处理 · 链接失效的爬虫案例 · 美后台权限控制

新增2020-06-22

· 高性能爬虫 · 多线程爬虫案例 · Flask-Migrate 数据模型设计 · 智慧大屏案例

升级2020-06-15

· UnitTest断言: 比较断言，复杂断言 · 路由系统全线升级 · 数据图片化反爬 · redis缓存

新增2020-06-08

· Jmter 图形监视器扩展插件 · 警告断言 · 异常断言 · Jmter性能调试

新增2020-06-01

· 性能测试报告分析 · 新增分库访问 · 优化Fixtures的参数化 · protometheus使用

新增2020-05-25

· flask-sqlalchemy二次开发 · 数据解析-BeautifulSoup4 · Jmeter分布式并发测试的配置 · zabbix使用

新增2020-05-18

· Jmeter实现参数化 · 数据库测试 · 实现跨线程组传值 · lua基础

新增2020-05-11

· 自定义读写分离 · 认证体系 · 访问劫持 · 安全策略

新增2020-05-04

· Redis悲观锁 · 布隆过滤器 · 文件安全 · WAF实践

升级2020-04-27

· 搜索接口结构 · elsticsearch使用 · celerybug处理 · rabbitMQ使用

升级2020-04-20

· Locust关联 · Locust断言 · Locust各种业务场景下的参数化 · pipeline使用

升级2020-04-13

· 更改Scrapy以及Scrapy-redis项目 · Selenium知识点演示案例 · redis哨兵机制 · mysql主从搭建

升级2020-04-06

· 时间戳/页码/偏移量分页 · gitflow工作流 · sentry使用 · xss安全

新增2020-03-30

· Pytest.mark · flask缓存工具类 · 多级缓存 · mysql注入攻击

新增2020-03-23

· 禅道的不同角色使用 · Mysql垂直拆分 · Flask-SQLAlchemy的读写分离 · Mysql水平拆分

升级2020-03-16

· 性能测试分类 · 性能监控指标 · 性能测试流程 · celery使用

新增2020-03-09

· 定时抓取数据爬虫 · Appium对APP数据的抓取 · 常见性能测试工具优化 · Filebeat详解

升级2020-03-02

· 禅道的部署方式 · django框架升级为2.25版本 · 美多详情页静态化 · 商品spu表结构

新增2020-01-16

· 美多商城缓存 · elk日志监控 · docker部署美多商城 · shell代码发布

升级2020-01-09

· 等价类划分法演示案例 · 边界值法的演示案例 · 容联云发送短信 · fastDFS图片上传

新增2020-01-02

· 测试用例的设计方法 · 获取用户信息模块的单元测试 · 登录注册模块的单元测试 · jenkins使用

升级2019-12-26

· Django自带单元测试模块 · Mysql数据库教法调整 · 黑马头条缓存使用 · dockerfile使用

新增2019-12-19

· Locust 性能测试 · HttpLocust和Locust · TaskSet TaskSequence · seq_task

升级2019-11-28

· 异常案例的讲解 · 代码健壮性提升方式 · 登录状态判断 · 异常处理

升级2019-11-21

· 商品模块代码进行了调整 · Redis事务型管道 · 反爬案例 · 搜索方法优化

新增2019-11-14

· 新增字体反爬 · Charles/fiddler抓包工具讲解 · Redis非事务型管道 · 新增shell编程

升级2019-11-07

· PO模型 · Requests模块的使用 · Get/Post等Http请求 · 试用例的设计方法

新增2019-10-31

· Flask项目搭建Flask-CORS · Fixtures实现SetUp和TearDown · 美多商城登录功能自动化测试 · Redis缓存数据集合

升级2019-10-24

· 黑马头条前端代码 · 分布式事务 · 美多商城前台改为前后端分离模式 · admin后端管理站点讲解

新增2019-10-17

· 美多商城支付模块单元测试 · Jmeter 性能测试报告 · TestCase Client FactoryRequest Mock · 美多商城下单模块性能测试

新增2019-10-10

· 黑马头条业务逻辑: 用户认证 、修改头像 · 黑马头条业务逻辑: 频道管理 · 黑马头条业务逻辑: 文章列表/详情 · 黑马头条业务逻辑: 关注用户 评论回复