2,理解爬蟲,防爬機制,具備爬蟲系統設計的能力;
3,熟悉mysql,redis,hbase等存儲技術;
4,了解主流的scrapy,pyspider框架等;
" />
1,掌握python,并熟悉常用的基礎網絡和解析類庫;
2,理解爬蟲,防爬機制,具備爬蟲系統設計的能力;
3,熟悉mysql,redis,hbase等存儲技術;
4,了解主流的scrapy,pyspider框架等;
5,熟悉html,css,js等網頁技術
爬取過B站數據
爬取過斗魚直播網站數據
爬取過虎牙直播網站數據
爬取過淘寶等類似購物網站數據
爬取過小程序素材和商品網站數據
爬取過1688,亞馬遜等購物網站數據...