Kafka消费者消费数据的速度是非常快的,但如果由于处理Kafka消息时,由于有一些外部IO、或者是产生网络拥堵,就会造成Kafka中的数据积压(或称为数据堆积)。如果数据一直积压,会导致数据出来的实时性受到较大影响。查看全文>>
通用网络爬虫的采集目标是整个互联网上的所有网页,它会先从一个或多个初始URL开始,获取初始URL对应的网页数据,并不断从该网页数据中抽取新的URL放到队列中,直至满足一定的条件后停止。查看全文>>
大多数网站中都加人了SSL证书,以实现数据信息在浏览器和服务器之间的加密传输,保证双方传递信息的安全性。SSL证书是一种数字证书,类似于驾驶证、护照和营业执照的电子副本,由受信任的数字证书颁发机构CA在验证服务器身份后颁发,具有服务器身份验证和数据传输加密功能。查看全文>>
在使用Fiddler工具之前,需要在计算机中下载与安装Fiddler工具。这里以Fiddler4(版本为v5.0)为例演示下载与安装的过程,具体内容如下。查看全文>>
fail-fast产生的原因就在于程序在对collection进行迭代时,某个线程对该collection在结构上对其做了修改,这时迭代器就会抛出。 ConcurrentModificationException异常信息,从而产生fail-fast。要了解fail-fast机制,我们首先要对ConcurrentModificationException异常有所了解。当方法检测到对象的并发修改,但不允许这种修改时就抛出该异常。查看全文>>
在安装mapbtlb前,需要先确保计算机中已经配置好Python开发环境。mapbtib的安装方式有很多种,既可以使用pip命令直接安装,也可以使用Anaconda工具进行安装。查看全文>>