- 創建一個AI智能體來追蹤非結構化數據源(如微信公眾號文章、小紅書筆記等),并提取有用信息
- 已經用deepseek 做了一個解決方案,現在需要快速執行,生成一個可以在本地部署的應用
- 核心功能
數據采集:從微信公眾號、小紅書等平臺抓取數據。
數據解析:提取非結構化數據中的有用信息。
數據存儲:將提取的信息保存到文件或數據庫。
數據展示:提供查詢和可視化功能。
1.2 技術棧
編程語言:Python(適合AI和數據處理)
數據采集:爬蟲工具(如Scrapy、Selenium)
自然語言處理(NLP):用于文本解析和信息提取
數據庫:MySQL、MongoDB(存儲結構化數據)
AI框架:Hugging Face Transformers、spaCy(用于NLP任務)
前端框架:React或Vue.js(可選,用于數據展示)