1:精通各類網(wǎng)站數(shù)據(jù)爬取,掌握新型爬蟲技術(shù),區(qū)別傳統(tǒng)爬蟲的新技術(shù)(不僅可以生成給定系統(tǒng)的“讀”接口,還可以根據(jù)用戶的授權(quán)生成“寫”接口,實時程序化地獲取給定系統(tǒng)提供的數(shù)據(jù),可以對數(shù)據(jù)進行規(guī)整化,且內(nèi)容可直接過濾清洗而得到最終呈現(xiàn),不會對服務(wù)器造成過大的壓力)
2:熟悉java后臺web開發(fā)技術(shù)
1:各地政務(wù)數(shù)據(jù)采集
通過新技術(shù)采集各地老舊政務(wù)系統(tǒng)(因原系統(tǒng)開發(fā)產(chǎn)商消亡,或者不方便使用系統(tǒng)數(shù)據(jù)庫等原因無法獲取到原始數(shù)據(jù))
使用技術(shù) :
1: 解讀各種HTTP協(xié)議,js加密,驗證碼加密等問題,處理ca證書,flash系統(tǒng)的問題。也曾經(jīng)協(xié)助獲取C/S系統(tǒng)的數(shù)據(jù)
2:java SE的基礎(chǔ)技術(shù)(jdbc,jpa等數(shù)據(jù)入庫技術(shù),以前網(wǎng)站數(shù)據(jù)切割(常用的string類,正則匹配,doc節(jié)點))
2:商城網(wǎng)站的開發(fā)
開發(fā)api商城網(wǎng)站。
使用技術(shù):
spring boot ,redis ,mysql等
11111111111111111111111111111111111111111111111111
1:通過java語言爬取各種公開網(wǎng)站,如12306,京東,中國移動等。 2:參與過公司開展關(guān)于各地政府的數(shù)據(jù)爬取( 2-1:主要針對老舊系統(tǒng),已丟原開發(fā)產(chǎn)商,無法對數(shù)據(jù)進行有效的維護的系統(tǒng)。 2-2:有一些政府業(yè)務(wù)希望能夠聚合一起辦理的系統(tǒng),讓數(shù)據(jù)多跑路讓人少跑路等政府數(shù)據(jù)