? 需求描述:
Yelp是美國類似大眾點(diǎn)評的一個(gè)平臺,要對已有的6000家左右的餐廳爬取評論數(shù)據(jù),現(xiàn)在已有每家餐廳的鏈接。
因?yàn)閿?shù)據(jù)量較大,需要能夠破解反爬蟲機(jī)制,普通的更換ua和休眠時(shí)間可能不行。
價(jià)格可議。
? 數(shù)據(jù)規(guī)模:
6000家餐廳,每家餐廳約有150條評論,總計(jì)在100萬條評論左右。已整理成csv文件,有成品的格式樣例,有現(xiàn)有的爬蟲程序(可以運(yùn)行但是無法破解反爬)。
? 人才要求:
爬蟲相關(guān)技巧熟練,能夠應(yīng)對反爬蟲機(jī)制,具有數(shù)學(xué)、統(tǒng)計(jì)、計(jì)量等相關(guān)知識背景的程序員更佳。