2.前端技術方面:掌握HTML/CSS/JavaScript/JQuery等前端技術,了解Ant Design Pro前端框架使用。
3.開發框架方面:Spring +" />
1.具有良好的java基礎(多線程、IO、JVM等)。
2.前端技術方面:掌握HTML/CSS/JavaScript/JQuery等前端技術,了解Ant Design Pro前端框架使用。
3.開發框架方面:Spring + SpringMVC + Mybatis、SpringBoot等開發框架,以及了解微服務SpringClound + feign + eureka使用。
4.數據庫方面:Mysql、postgreSQL等關系型數據庫;Redis、Elasticsearch等非關系型數據庫。
5.分布式框架:dubbo、zookeeper、kafka、RabbitMQ等的使用。
6.項目管理方面:git、maven等工具使用。
7.服務器方面:熟練使用Linux操作系統、shell腳本語言,以及服務部署。
8.Python匿名函數、列表推導式、裝飾器的熟練使用。
9.Python中re、requests、beautifulSoup、selenium、PhantomJS、chromedriver等庫的熟練使用。
10.熟悉使用消息隊列(MQ)、celery等異步框架實現分布式任務原理。
11.Python與scrapy-redis、Scrapy分布式爬蟲框架的基本使用。
12.Python爬蟲中代理IP、UserAgent的熟練使用,熟悉基于正則表達式、Xpath、CSS等網頁信息抽取技術。
13.熟練Python對Mysql、postgreSQL等常見關系型數據庫操作;了解elasticsearch、MongoDB等非關系型數據庫。
14.python科學計算庫numpy、scipy和數據分析庫pandas的熟練使用。
15.熟悉Linux能熟練使用shell腳本語言,熟練掌握常用命令。
1.熱點檢索(基于微信小程序)
背景:提供公司內部信息流的推薦
相關模塊:檢索模塊、爬蟲模塊、存儲模塊、前端
相關技術:Elasticsearch、Spring Boot、爬蟲
業務流程:1)、使用python抓取公眾號歷史文章;2)、使用perl模擬微信登陸監控微信好友發送消息,獲取微信公眾號實時發送新的公眾號文章,獲取其他好友發送的相關公眾號文章;3)、將獲取的文章鏈接,請求并解析文章內容存入Elasticsearch中,以供后續查詢;
2.數據抓取
項目需求:抓取微信公眾號文章、鏈家房產、大麥網、大眾點評、微博數據。
相關技術:python、celery、scrapy、xpath、lxml、re、requests等。
業務流程:抓取規劃相關的公眾號,發布的歷史文章和實時推送的文章,以及微信中好友發送的公眾號文章。每個月定時對鏈家小區、二手房等房產信息進行抓取,并將獲取的數據存入空間數據庫postgreSQL中。抓取用戶注冊時編輯的基本資料信息、發布微博、相冊、以及簽到的足跡,將其存入postgreSQL中。