要求:語言python web接口框架fastapi 爬蟲盡量使用異步爬蟲和節省性能消耗方案,如果業務上只能使用非異步那么使用非異步爬蟲,保證可以在linux服務器上運行,我會提供相應服務器
功能說明:
http調用該接口,創建兩個文件基于時間戳+用戶id+直播間id命名的excel文件,一個用于存儲彈幕,一個用于存儲用戶信息,返回路徑,后臺建立一個采集進程/線程/協程(采集完要關閉),實時采集彈幕和用戶信息,寫入excel文件
彈幕excel列名:用戶id,彈幕內容,彈幕時間
用戶excel列名:用戶id,用戶昵稱,年齡等(當前能看到的信息所有)
用戶excel要保證非重復,即寫入前進行判重,如果重復則不寫入
接口說明:
接口名稱: /get_douyin_danmu
請求方式: post
請求參數 :
{
"url":"抖音直播間鏈接",
"user_id":"用戶id,開發階段為0",
}
返回參數:
{
"code": 200,
"data": {
"room_id": "680980",
"room_name": "抖音直播間",
"danmu_path":"彈幕excel路徑",
"users_path":"用戶excel路徑"
}