Spark的Shuffle分为Write和Read两个阶段,分属于两个不同的Stage,前者是Parent Stage的最后一步,后者是Child Stage的第一步。查看全文>>
SQL语句用于从原始数据中,根据条件筛选出字段,并进行预处理和转换,基本格式为:查看全文>>
OLTP是操作型处理,叫联机事务处理OLTP(On-LineTransactionProcessing),主要目标是做数据处理,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。查看全文>>
Scala提供了强大的模式匹配机制,最常见的模式匹配就是match语句,主要应用于从多个分支中进行选择的场景。不仅如此,Scala还提供了样例类,它可以对模式匹配进行优化,提高匹配的速率。接下来,针对Scala提供的模式匹配和样例类进行详细讲解。查看全文>>
利用Python内置的pip工具可以非常方便地安装Python第三方库。该工具可在命令提示符窗口中使用。使用该工具在命令窗口中安装第三方模块或库的命令格式如下。查看全文>>
E-R图也称为实体-联系图(Entity Relationship Diagram),它是一种用图形表示的实体联系模型。E-R图通用的表示方式查看全文>>