爬蟲 scrapy 框架;selenium 、requests 以及 BeautifulSoup 數據爬取&數據庫存儲; numpy、pandas 以及 matplotlib 數據分析&可視化;反反爬(特征識別、驗證碼識別、滑塊驗證、動態渲染、文本混淆等);安卓逆向分析(脫殼、反編譯、靜態分析、動態分析、Hook等); tkinter用戶界面設計;文件打包exe;excel數據&文件批量處理
通過 SQL 語句篩選指定模塊的埋點數據,使用 python 基于 scrapy 框架設計爬蟲程序在爬蟲文件獲取響應,在管道文件使用 xpath 表達式以及正則表達式獲取用戶行為,將信息進行拼接并寫入csv文件和 mongodb 數據庫,用 pandas和 matplotlib 進行數據分析以及可視化處理。
使用 charles進行APP端接口抓取,進行爬蟲逆向分析,并使用各種工具(包括不限于查殼工具、jadx、IDA、frida)進行 APP 查殼、脫殼、反編譯、靜態分析、動態分析以及Hook等逆向分析操作,另外也進行web端j逆向分析,定位加密方式并還原,保證有效爬取頁面信息。
功能實現:使用爬蟲進行音樂網站數據爬取,將獲取到的數據保存在csv文件,再運用數據分析讀取文件中的數據,對數據進行進一步分析處理,并將數據可視化
功能描述:通過對APP進行查殼、脫殼,進而通過反編譯分析等一系列操作,還原APP鏈接的加密過程,從而自動獲取APP動態鏈接,最后使用爬蟲隨時獲取當前時間熱榜新聞鏈接,可通過電腦打開鏈接瀏覽新聞,便于瀏覽當前以及之前錯過的熱榜新聞。