首页最新资讯

全部 新闻动态 技术文章 常见问题 技术问答

    • 为什么要研究大数据?大数据有什么价值?

      现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流也越来越密切,生活也越来越便捷,大数据就是这个高科技时代的产物。阿里巴巴创办人马云曾经说过,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology,数据科技,这显示出大数据对于阿里巴巴集团来说是举足轻重的。查看全文>>

      技术文章2021-02-01 |黑马程序员 |为什么要研究大数据
    • 什么样的数据可以称为大数据?

      一般认为,大数据主要具有以下4个方面的典型特征,即大量(Volume)、多样(Variety)、高速(Velocity)和价值(Value),即所谓的4V,接下来,通过一张图来具休描述。查看全文>>

      技术文章2021-02-01 |黑马程序员 |什么数据是大数据
    • 大数据是什么意思?大数据有什么用?

      大数据是什么意思呢?如果从字面意思来看,大数据指的是巨量数据。那么可能有人会问,多大量级的数据才叫大数据?不同的机构或学者有不同的理解,难以有一个非常定量的定义,只能说,大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB级别。查看全文>>

      技术文章2021-02-01 |黑马程序员 |大数据是什么意思
    • RDD如何分区,各种模式下的分区数目是怎样的?

      RDD的分区原则是分区的个数尽量等于集群中的CPU核心(Core)数目。对于不同的Spark部署模式而言,都可以通过设置spark.default.prallien这个参数值来配置默认的分区数目。一般而言,各种模式下的默认分区数目如下。查看全文>>

      技术文章2021-01-29 |黑马程序员 |RDD如何分区
    • Spark Mllib分层抽样操作步骤

      分层抽样法也叫类型抽样法,它是先将总体样本按照某种特征分为若干次级(层),然后再从每一一层内进行独立取样,组成一个样本的统计学计算方法,接下来,通过Spark-Shell演示分层抽样方法,具体代码如下查看全文>>

      技术文章2021-01-29 |黑马程序员 |Spark MLlib分层抽样
    • Sqoop中的增量导入功能怎样使用?

      当MySQL表中的数据发生了新增或修改变化,需要更新HDFS上对应的数据时,就可以使用Sqoop的增量导入功能。Sqoop目前支持两种增量导入模式:append模式和lastmodified模式。其中,append模式主要针对INSERT新增数据的增量导入;lastmodified模式主要针对UPDATE修改数据的增量导入。查看全文>>

      技术文章2021-01-26 |黑马程序员 |Sqoop增量导入,MySQL导入数据
和我们在线交谈!