熟悉python全棧開發,熟悉爬蟲開發,熟悉數據分析,熟悉大數據hadoop hive spark flink flume kafka等開發,熟悉java全棧ssh框架開發,熟悉mysql等常用數據庫,熟悉報表制作,自我學習能力強,樂于學習新的技術
1,某網站數據爬取,js反爬,解密,數據清洗,數據入庫到數據庫,表創建。2,大數據開發環境搭建,hive腳本開發優化,性能調優。3運用datax,編寫python腳本做數據清理傳輸。
負責編寫車站代碼,通過selenium實現自動登錄,選擇車票,自動占座搶票,本項目用python代碼進行實現。
通過多線程隊列的方式獲取代理ip,用redis保存可以的代理ip,本項目使用的是python語言實現抓取。
通過js逆向實現解OB混淆反爬蟲網站考古加,通過json、mysql、mongodb等方式實現數據存儲,本項目用python進行實現。