1,了解zookeeper 分布式協(xié)調(diào)服務(wù)應(yīng)用。
2,熟悉hdfs、mapreduce、yarn能獨(dú)立完成簡(jiǎn)單的hadoop集群環(huán)境的部署以及編寫mapreduce程序進(jìn)行開發(fā)。
3,熟悉Hbase,Redis非關(guān)系型數(shù)據(jù)庫(kù)和mysql,oracle關(guān)系型數(shù)據(jù)庫(kù)。
4,能獨(dú)立完成Hbase集群環(huán)境搭建,熟練使用客戶端進(jìn)行數(shù)據(jù)操作。
5,熟悉Hive的使用,熟練使用hql進(jìn)行數(shù)據(jù)分析,能夠使用sqoop進(jìn)行關(guān)系型數(shù)據(jù)庫(kù)與hdfs/hive之間進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。
6,熟練java編程語(yǔ)言,熟悉java面向?qū)ο蠓治雠c設(shè)計(jì)。
7,熟悉java基礎(chǔ)知識(shí)以及核心類庫(kù)。熟練運(yùn)用反射、io、多線程、socket等相關(guān)知識(shí)進(jìn)行軟件開發(fā)。
8,熟悉使用eclipse,myeclipse,idea等相關(guān)軟件開發(fā)工具。
9,熟悉struts2,hibernate,Spring,springMVC,mybaits能獨(dú)立使用以上框架進(jìn)行開發(fā),熟悉javaee開發(fā),參與過(guò)OA和CRM項(xiàng)目
1,輿情監(jiān)控系統(tǒng),通過(guò)爬蟲和對(duì)接數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,屬于來(lái)源廣泛,通過(guò)mapreduce自行開發(fā)的etl系統(tǒng),參與了數(shù)據(jù)分析開發(fā),為決策者提供數(shù)據(jù)參考。
2,金融輿情監(jiān)控系統(tǒng),該系統(tǒng)通過(guò)一些權(quán)威的新聞發(fā)布和具有決定性的站點(diǎn)消息,已經(jīng)工商等信息通過(guò)各種方式和手段獲取,通過(guò)種種數(shù)據(jù)給企業(yè)評(píng)估風(fēng)險(xiǎn)。用處:與銀行有合作的企業(yè)或者有意愿合作的企業(yè)通過(guò)該系統(tǒng)給降低銀行的風(fēng)險(xiǎn)。
3,oa,辦公自動(dòng)化,此系統(tǒng)采用B/C,使用s2
sh進(jìn)行開發(fā),其中包含個(gè)人辦公,審批流程,行政管理,人力資源,電子郵件,實(shí)用工具,個(gè)人設(shè)置和系統(tǒng)管理,通過(guò)這些模塊降低企業(yè)溝通成本。