主要思路

目的：

根據(jù)輸入的城市名，爬取該城市美團美食板塊所有商家的數(shù)據(jù)。數(shù)據(jù)包括：

店名、評分、評論數(shù)量、均價、地址，

并將這些數(shù)據(jù)存入Excel中。

最后嘗試對爬取到的數(shù)據(jù)做一個簡單的分析。

克服反爬蟲：

爬取每頁數(shù)據(jù)后，隨機停止一段時間后再爬下一頁；

每頁使用不同的cookie值。

具體原理：

Chrome打開后看了下xhr。。。

發(fā)現(xiàn)直接有接口可以用。

詳細的實現(xiàn)過程在個人簡介中獲取源代碼。

開發(fā)工具

Python版本：3.5.4

相關(guān)模塊：

requests模塊；

win_unicode_console模塊；

openpyxl模塊；

以及一些Python自帶的模塊。

環(huán)境搭建

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

使用演示

在cmd窗口運行MT_Cate_Spider.py文件即可。

簡單分析

其實在碼字的時候我臨時加的這個部分，原因很簡單，我想強調(diào)爬蟲和數(shù)據(jù)分析結(jié)合的重要性。

利用Excel的數(shù)據(jù)分析功能簡單分析一波吧~~~

用的上海地區(qū)的數(shù)據(jù)。

首先當然是按照評分排個序，然后做成柱狀圖：

然后是評論數(shù)量排個序，做成柱狀圖：

然后再做點其他有趣的圖案：

為了幫助學習Python進步慢的伙伴們，在這里為大家準備了豐富的學習大禮包

OK，That's all!