Python程序中最常见的错误为语法错误。语法错误又称为解析错误,它是指开发人员编写了不符合Python语法格式的代码所引起的错误。含有语法错误的程序会抛出异常,无法运行。如下所示为一段包含语法问题的代码:查看全文>>
程序被执行后成为了一个活动的实体,这个实体就是进程。换言之,操作系统调度并执行程序,这个“执行中的程序”称为进程。进程是操作系统进行资源分配和调度的基本单位。一般情况下,进程占据的内存空间由控制块、程序段和数据段三个部分组成,各部分的介绍如下。查看全文>>
在Python中,具有特殊功能的标识符称为关键字,每个关键字都代表不同的含义,Python语言自己已经使用它们,不允许自己定义和关键字相同名字的标识符,开发者应该尽量避开这些关键字。Python中的关键字如下所示:查看全文>>
使用变量存储数据时,为了更充分利用内存空间,我们可以为变量指定不同的数据类型。Python中常见的数据类型包含整型、浮点型和复数类型等,本节课来就来讲解一下Python中常见的数据类型和他们的示例代码查看全文>>
Slaver端从Master端拿任务(Request/url/ID)进行数据抓取,在抓取数据的同时也生成新任务,并将任务分配给Master端。Master端只有一个Redis数据库,负责对Slaver提交的任务进行去重、加入待爬队列查看全文>>
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量代码,就能够快速的抓取到数据内容。Scrapy使用了Twisted异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。查看全文>>