Scrapy是用Python下的一個(gè)互聯(lián)網(wǎng)爬蟲(chóng)應(yīng)用框架,它能夠爬取網(wǎng)站并抽取結(jié)構(gòu)化的數(shù)據(jù),它也能夠使用API獲取數(shù)據(jù)。Scrapy框架中有很多實(shí)用的內(nèi)置插件和中間件,這些插件和中間件使得Scrapy框架的實(shí)用性更強(qiáng),并且在實(shí)戰(zhàn)開(kāi)發(fā)中,我們會(huì)具體爬取一些網(wǎng)站(如百度貼吧,豆瓣電影等)。