操作系统可以同时运行多个任务。例如,计算机在同一时刻既可以使用浏览器上网,又可以使用酷我播放音乐,还能挂着QQ工具聊天......所有的这些都体现了多任务运行的现象。查看全文>>
Scrapy框架的工作原理是什么? 学习Scrapy框架,从理解它的架构开始。图1所示是Scrapy的架构图。查看全文>>
queue模块是Python内置的标准模块,可以直接通过import queue引用。在Queue模块中提供了三种同步的、线程安全的队列,分别由三个类Queue,LifoQueue和PriorityQueue表示,它们的唯一区别是元素取出的顺序不同。并且LifoQueue和PriorityQueue都是Queue的子类。查看全文>>
由于外部网络不稳定,在使用单线程爬取网页数据时,如果有一个网页响应速度慢或者卡住了,那整个程序都要等待下去,这显然是无效率的。因此,我们可以使用多线程、多进程、协程技术来实现并发下载网页。查看全文>>
根据存储数据时所用数据模型的不同,当今互联网中的的数据库主要分为两种:关系型数据库和非关系型数据库。查看全文>>
数据库是按照数据结构来组织、存储和管理数据的仓库,它可以被看作电子化的文件柜——存储文件的处所,用户可以对文件中的数据进行增加、删除、修改、查找等操作。需要注意的是,这里所说的数据不仅包括普通意义上的数字,还包括文字、图像、声音等。查看全文>>