一、網(wǎng)絡(luò)爬蟲

首先，

什么叫網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲又稱網(wǎng)絡(luò)蜘蛛，是指按照某種規(guī)則在網(wǎng)絡(luò)上爬取所需內(nèi)容的腳本程序。眾所周知，每個(gè)網(wǎng)頁通常包含其他網(wǎng)頁的入口，網(wǎng)絡(luò)爬蟲則通過一個(gè)網(wǎng)址依次進(jìn)入其他網(wǎng)址獲取所需內(nèi)容。

?爬蟲有什么用

做垂直搜索引擎

科學(xué)研究：在線人類行為，在線社群演化，人類動力學(xué)研究，計(jì)量社會學(xué)，復(fù)雜網(wǎng)絡(luò)，數(shù)據(jù)挖掘，等領(lǐng)域的實(shí)證研究都需要大量數(shù)據(jù)，網(wǎng)絡(luò)爬蟲是收集相關(guān)數(shù)據(jù)的利器。

爬蟲是搜索引擎的第一步也是最容易的一步。

用什么語言寫爬蟲

C，C++。高效率，快速，適合通用搜索引擎做全網(wǎng)爬取。缺點(diǎn)，開發(fā)慢等

腳本語言：Perl, Python, Java, Ruby。簡單，易學(xué)，良好的文本處理能方便網(wǎng)頁內(nèi)容的細(xì)致提取，但效率往往不高，適合對少量網(wǎng)站的聚焦爬取

Python優(yōu)勢很多，總結(jié)兩個(gè)要點(diǎn)：

1）抓取網(wǎng)頁本身的接口

相比與其他靜態(tài)編程語言，如java，c#，C++，python抓取網(wǎng)頁文檔的接口更簡潔；相比其他動態(tài)腳本語言，如perl，shell，python的urllib2包提供了較為完整的訪問網(wǎng)頁文檔的API。

此外，抓取網(wǎng)頁有時(shí)候需要模擬瀏覽器的行為，很多網(wǎng)站對于生硬的爬蟲抓取都是封殺的。這是我們需要模擬user agent的行為構(gòu)造合適的請求，譬如模擬用戶登陸、模擬session/cookie的存儲和設(shè)置。

2）網(wǎng)頁抓取后的處理

抓取的網(wǎng)頁通常需要處理，比如過濾html標(biāo)簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。

二、網(wǎng)站開發(fā)

1、python基礎(chǔ)，因?yàn)橛胮ython開發(fā)的，所以python指定要會，最起碼你也得會條件判斷，循環(huán)，函數(shù)，類這些知識；

2、html、css的基礎(chǔ)知識，因?yàn)橐_發(fā)網(wǎng)站，網(wǎng)頁都html和css寫的，最起碼這些知識你得會，就算不會寫前端，開發(fā)不出來特別漂亮的頁面，網(wǎng)站，最起碼要能看懂html標(biāo)簽是；

3、數(shù)據(jù)庫基礎(chǔ)知識，因?yàn)殚_發(fā)一個(gè)網(wǎng)站的話，數(shù)據(jù)存在哪里，就是在數(shù)據(jù)庫里

三、人工智能

它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。 人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研究包括機(jī)器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。

Python正在成為機(jī)器學(xué)習(xí)的語言。大多數(shù)機(jī)器語言課程都是使用Python語言編寫的，大量大公司使用的也是Python，讓許多人認(rèn)為它是未來的主要編程語言。

四、自動化運(yùn)維

　　Python能滿足絕大部分自動化運(yùn)維的需求，又能做后端C/S架構(gòu)，又能用WEB框架快速開發(fā)出高大上的WEB界面，只有當(dāng)你自已有能力做出一套運(yùn)維自動化系統(tǒng)的時(shí)候，你的價(jià)值才體現(xiàn)出來。