專業能力:熟悉Centos,ubuntu,kali等linux系統。熟悉Mysql,Postgresql,Nginx,Tomcat等組件。熟悉Puppet,Centreon,Netdata,Grafana,運維工具。熟悉Shell編程,目前正自學Python語言。熟悉Hadoop 技術生態圈,可以快速部署并上線包括但不限于Flume,Spark,Kafka,Postgresql集群,Ambari大數據平臺,Clickhouse數據庫以及ES集群,kibana可視化日志分析工具等常用大數據相關組件。
此前 承擔浙江核新同花順網絡信息股份有限公司的大數據平臺 CBAS(Consumer Behaviour Analysis System)的管理維護工作,負責機器350臺左右,主要從系統收集記錄的日志數據,對業務需要的日志數據進行存儲、統計、挖掘,集群現Dataode節點機器95臺,集群配置容量達到3PB,平臺架構包括下游的調度與監控系統,數據采集,分布式存儲與計算,離線or實時計算,數據倉庫,用戶畫像到最終的個性化推薦系統,精準營銷系統和統計平臺,交互式查詢平臺以及報表可視化工具。 負責iFinD運維小組自動化及監控方向,在現有監控的基礎上優化組織架構,利用Netdata,Grafana,Prometheus,等工具,實現了覆蓋整個iFind小組所有機器的秒級監控,共覆蓋包括,同花順認證中心,CBAS,iFinD,等業務的在海內外600臺機器,監控指標達到118w個,指標詳細覆蓋到了CPU、MEM、IO、NET四大子系統內核參數,和自定義組件的幾乎所有方面,在排查并發請求超時的各種問題上提供了充足的數據支持,也為后續性能優化,資源擴容,成本計算提供數據支持。
任務管理界面,和主頁面。 創建hadoop用戶 安裝JDK 配置hosts 安裝SSH 關閉防火墻 修改時區 ZK(安裝,啟動,驗證) HDFS+HA的結構圖 角色分配 環境變量配置 核心文件配置 slave 啟動命令(hdfs和yarn的相關命令)
主要有以下幾個流程 服務規劃 安裝準備 HTTP 安裝 JDK安裝 server和agent之間ssh免密碼登錄 安裝amber