2、熟悉selenium自動化的編寫
3、熟悉scrapy、feapder等爬蟲框架
4、理解scrapy_redis組件進行分布式爬蟲
5、有一點JS逆向經驗,熟悉對稱" />
1、多線程、多進程、協程等高并發爬蟲
2、熟悉selenium自動化的編寫
3、熟悉scrapy、feapder等爬蟲框架
4、理解scrapy_redis組件進行分布式爬蟲
5、有一點JS逆向經驗,熟悉對稱加密與非對稱加密、哈希算法、國家加密
6、熟悉AST反混淆
7、熟悉RPC技術,通過 `WebSocket` 協議進行 `RPC` 通信,在瀏覽器中將加密函數暴露出來,在本地直接調用瀏覽器中對應的加密函數,從而得到加密結果,不必去在意函數具體的執行邏輯,也省去了扣代碼、補環境等操作,可以省去大量的逆向調試時間。
8、熟悉HOOK技術,在系統沒有調用函數之前,鉤子程序就先得到控制權,這時鉤子函數既可以加工處理(改變)該函數的執行行為,也可以強制結束消息的傳遞。
1、某音視頻收集
客戶端注入到瀏覽器環境,然后通過` SekiroClient `和 `Sekiro `服務器通信直接 `RPC` 調用瀏覽器內部方法解密X_B參數后通過一系列操作可以拿到視頻資源的url,以二進制形式保存到文件中。