課程目標(biāo)

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)指數(shù)式增長，要在短時(shí)間內(nèi)獲取大量信息，網(wǎng)絡(luò)爬蟲無疑是一種最適合的方法。通過爬蟲獲取的海量信息，可以進(jìn)一步的分析與應(yīng)用，如股票預(yù)測、畫像構(gòu)建、話題跟蹤等。
Python作為一門腳本語言，它靈活、易用、易學(xué)、適用場景多，實(shí)現(xiàn)程序快捷便利，早已經(jīng)成為程序員們的一門編程利器。Python這門編程語言包羅萬象，可以說掌握了python，除了一些特殊環(huán)境和高度的性能要求，你可以用它做任何事。為提升相關(guān)科技工作者的技術(shù)水平，“網(wǎng)絡(luò)爬蟲技術(shù)及實(shí)戰(zhàn)”課程從爬蟲的基本知識(shí)入手，使用Python作為實(shí)現(xiàn)工具，一步步地講述網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)。

 師資團(tuán)隊(duì)

華清創(chuàng)客企業(yè)內(nèi)訓(xùn)講師，均是來自各個(gè)領(lǐng)域的資深專家，均擁有6年以上大型項(xiàng)目經(jīng)驗(yàn)。

 培養(yǎng)對象

學(xué)員學(xué)習(xí)本課程應(yīng)具備下列基礎(chǔ)知識(shí)：
①具備Python語言編程的基本知識(shí)和初步技能；
②了解基本的網(wǎng)絡(luò)通信知識(shí)；

 培訓(xùn)方式

• 第一種：華清創(chuàng)客講師面授
  課時(shí)：共3天，每天6學(xué)時(shí)，總計(jì)18學(xué)時(shí)
  ◆費(fèi)用：2500元
  ◆外地學(xué)員：代理安排食宿（需提前預(yù)定）
  
  第二種：線上直播授課
  直播課時(shí)：共6天，每天3學(xué)時(shí)，總計(jì)18學(xué)時(shí)；
  輔導(dǎo)：授課期間，輔導(dǎo)老師每天有1小時(shí)的輔導(dǎo)直播
  ◆費(fèi)用：2500元
  
  第三種：企業(yè)訂制培訓(xùn)
  課時(shí)：根據(jù)定制的大綱確定課時(shí)
  費(fèi)用：根據(jù)課程難度，每課時(shí)1500~3000元
  

   質(zhì)量保證

• 1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在下期培訓(xùn)班中重聽；

  2、培訓(xùn)結(jié)束后免費(fèi)提供一個(gè)月的技術(shù)支持，充分保證培訓(xùn)后出效果；

  3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。

•  課程大綱

  第一部分 網(wǎng)絡(luò)爬蟲理論基礎(chǔ)

  1. 網(wǎng)絡(luò)通信基礎(chǔ)

  2. HTTP協(xié)議簡介

  3. Web開發(fā)知識(shí)介紹

  4. 網(wǎng)站分析知識(shí)介紹

   

  第二部分 Python基礎(chǔ)

  1. Python初識(shí): 開發(fā)環(huán)境安裝與使用

  2. Python基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)（元組/列表/字符串/字典）

  3. Python語法基礎(chǔ)（條件/循環(huán)/函數(shù)/類/模塊）

  4. Python文件操作實(shí)戰(zhàn)

  5. Python異常處理實(shí)戰(zhàn)

   

  第三部分 網(wǎng)絡(luò)爬蟲基本工具庫

  1. 認(rèn)識(shí)正則表達(dá)式

  2. 正則表達(dá)式實(shí)戰(zhàn)

  3. 基礎(chǔ)Python爬蟲庫（urllib/Requests）

  4. “漂亮”的爬蟲庫-Beautiful Soup

  5. 靜態(tài)網(wǎng)頁爬取案例分享

  6. Selenium與模擬瀏覽器-PhantomJS

  7. 動(dòng)態(tài)網(wǎng)頁爬取案例分享

  8. 利用API進(jìn)行數(shù)據(jù)采集

  9. OCR技術(shù)實(shí)現(xiàn)驗(yàn)證碼自動(dòng)識(shí)別，模擬登陸實(shí)戰(zhàn)

   

  第四部分 Scrapy爬蟲框架

  1. 認(rèn)識(shí)Scrapy框架

  2. Scrapy框架安裝難點(diǎn)解決技巧

  3. Scrapy常見指令實(shí)戰(zhàn)

  4. Scrapy實(shí)現(xiàn)爬蟲實(shí)戰(zhàn)

  5. Scrapy模擬登錄實(shí)戰(zhàn)

  6. Scrapy新聞爬蟲項(xiàng)目實(shí)戰(zhàn)

  7. Scrapy網(wǎng)站登陸爬蟲與驗(yàn)證碼自動(dòng)識(shí)別項(xiàng)目實(shí)戰(zhàn)

  8. Scrapy與Urllib的整合使用

   

  第五部分 PySpider爬蟲框架

  1. 認(rèn)識(shí)PySpider框架

  2. PySpider框架安裝與部署

  3. PySpider常見指令

  4. PySpider實(shí)現(xiàn)爬蟲案例分析

   

  第六部分 異步網(wǎng)站數(shù)據(jù)采集

  1. 認(rèn)識(shí)Ajax

  2. Ajax分析方法

  3. Ajax結(jié)果提取

  4. Ajax實(shí)現(xiàn)爬蟲案例分析

   

  第七部分 分布式爬蟲介紹

  1. 爬蟲隊(duì)列設(shè)計(jì)

  2. 多線程爬蟲

  3. 多進(jìn)程爬蟲

  4. 集群化爬取

   

  第八部分 爬蟲的存儲(chǔ)

  1. 文本文件存儲(chǔ)

  2. Excel存儲(chǔ)

  3. 關(guān)系型數(shù)據(jù)庫存儲(chǔ)

  4. 非關(guān)系型數(shù)據(jù)庫存儲(chǔ)

   

  第九部分 爬蟲綜合案例實(shí)戰(zhàn)

  1. 百度百科語料爬取

  2. 京東評論數(shù)據(jù)爬取與分析

  3. 豆瓣讀書數(shù)據(jù)爬取

  4. 微博數(shù)據(jù)抓取

  5. QQ空間數(shù)據(jù)爬取

  6. 中國知網(wǎng)文獻(xiàn)爬取