技術能力:熟練掌握python開發,能使用python完成爬蟲及web后端開發相關工作; 熟悉linux開發環境及常用命令; 熟悉MVC開發模式,掌握使用Django框架進行項目開發,了解Flask、Tornado; 掌握request,Scrapy ,scrapy-redis分布式...查看詳情
項目經驗:淘寶分布式數據采集系統 項目介紹: 本項目主要用于采集淘寶PC端及APP端搜索關鍵詞獲取各類排序商品列表及詳細數據,是用于給另一個網站項目提供頁面搜索功能的后臺程序,類似于看店寶網站VIP會員的搜索功能。 技術選型: 1.考慮到后期可能存在的高并發情況,采用scrapy-...查看詳情
案例展示: 淘寶分布式數據采集系統;優客居;
兼職日薪: 500元/8小時
技術能力:一流的 AI 驅動爬蟲團隊,團隊可滿足各種與爬蟲相關的業務需求。只輸出爬蟲路徑和結果,不輸出代碼-因為是用AI構建的爬蟲流程,不是碼代碼搞出來的。在這個領域已經深耕了三年,如果有需求最快只需要1-2天時間就可實現AI自動化爬取。...查看詳情
項目經驗:嘗試過的項目有很多,主要集中在海外各大網站和社交媒體平臺的數據抓取,典型案例是無差別抓取YouTubechannel并提取網紅信息,一個月的時間抓取YouTubechannel上千萬,高價值網紅信息100w+,基礎爬蟲能力是拉滿的,核心競爭力是快,成本低。...查看詳情
案例展示: YouTube channel抓取;美國出租房信息抓取;
兼職日薪: 500元/8小時
技術能力:1,自定義prometheus指標,拓展集群服務器監控項 2,監控服務器各項指標(cpu,內存,磁盤,網絡...)并在達到預警值時通知客戶(郵件短信) 3,修改源碼進行功能拓展(離線自啟,遠程開關機等) 4,編寫自動化部署k8s、docker腳本 5,li...查看詳情
項目經驗:參與公司服務器管理系統的開發,監控所有服務器及虛擬機各項性能指標并存入tsdb數據庫,發生故障及時定位并告警。搭建k8s微服務集群架構,運維集群中核心業務。...查看詳情
案例展示: 服務器管理系統;百度云盤批量重命名;
兼職日薪: 500元/8小時
技術能力:1. 基礎扎實 ,有良好的編碼習慣及編碼風格 ,并且能閱讀官方文檔 2. 熟練使用 urllib、Requests 等模塊,了解網站反爬取機制、js 加密、js 代碼混淆3. 熟練使用 Scrapy 、pyspider 框架以及編寫各類中間件 4. 熟練使用 Selenium...查看詳情
項目經驗:項目簡介: 電商平臺數據爬取,淘寶指定類目每月top300店鋪爬取,各大電商平臺數據使用RPA結合Python進行數據獲取,并上傳數據庫。 項目技術棧:selenium+js RPA websocket pandas 個人職責: 1. 淘寶每月TOP300店鋪商品詳情數據...查看詳情
案例展示: 淘寶指定店鋪商品詳情獲取;指定網站數據抓取;
兼職日薪: 500元/8小時
技術能力:1、熟悉c,python,php,js等語言 2、熟悉html,mysql,kafka,git,redis等 3、熟悉Linux驅動和應用程序開發 4、熟悉深度學習,pytorch 5、熟悉物聯網開發,曾待過團隊開發了物聯網平臺PC,移動端...查看詳情
項目經驗:項目一 智慧農業物聯網平臺PC端和移動端 主要用于農業設備的數據采集,遠程控制,數據處理,設備預警。 設備和平臺之間采用tcp,mqtt方式通信,使用mysql,redis存儲,通過阿里云短信及站內信進行提醒。通過深 度算法對拍攝的昆蟲圖片進行識別和計數,集成用戶管理功...查看詳情
案例展示: 智慧農業物聯網平臺PC端和移動端;ARM開發板開發相機功能;
兼職日薪: 500元/8小時
技術能力:1. 熟悉spring boot、spring cloud開發。 2. 熟悉python爬蟲,熟悉各種爬蟲框架,有豐富的應對反爬措施的經驗。 3. 熟悉mysql、redis,有mysql調優經驗 4. 了解JVM,有arthas調優經驗...查看詳情
項目經驗:1. 爬取過微信公眾號、今日頭條、知乎、百度百家、搜狐 2. 有商城秒殺系統設計開發經驗,主要使用spring boot,多級緩存。...查看詳情
兼職日薪: 500元/8小時
技術能力:● 熟練掌握python,熟練使用Flask、Django框架,熟練使用Flask RESTful 、Django REST framework。 ● 熟練掌握Redis、MySQL。 ● 熟練掌握postman、git,熟練掌握Linux的常見使用。 ● 掌握Jenki...查看詳情
項目經驗:一、Axf電商項目 項目背景 Axf項目實現了一個電商網站,實現了商品的展示、分類、排序,用戶的注冊、登錄,添加商品到購物車,訂單的生成和完成訂單的支付,使用的技術棧有:flask、MySQL、redis、celery、Ajax 、H5、css、js、docker、ngi...查看詳情
兼職日薪: 500元/8小時
技術能力:熟練掌握python語法,精通爬蟲,熟悉scrapy,scrapy分布式爬蟲,selenium爬蟲,熟悉常見的各種反爬機制,能獨立完成爬蟲項目;熟悉前端開發,html,VUE,js,CSS的使用。熟悉微信小程序的開發。...查看詳情
項目經驗:1.京東圖書爬蟲,運用scrapy分布式爬蟲,獲取京東圖書所有書籍,及書籍相關的資料;2.豆瓣電影爬蟲,scrapy分布式爬蟲獲取相關電影,及電影所有評論,存入mongodb數據庫。...查看詳情
兼職日薪: 500元/8小時
技術能力:熟練掌握Python的基本語法,擁有良好的編碼規范和對面向對象編程的理解。 熟練掌握MySQL、MongoDB、Redis數據庫的常規操作。 熟練使用re正則、lxml與XPath、BeautifulSoup網頁信息抽取技術。 熟練掌握使用airtestIDE、Mitmpr...查看詳情
項目經驗:項目名稱: 爬取短視頻相關信息 項目描述:分析APP信息存放位置,爬取抖音、小紅書、快手、皮皮蝦上面視頻標題內容時間以及前五百條評論。 責任描述: 1. 一些APP沒有網頁版只能通過airtestIDE、Mitmproxy、Fiddler自動化抓包工具進行抓包處理。 2...查看詳情
兼職日薪: 500元/8小時
技術能力:領域:后端開發、Linux開發 編程語言:精通Python、Shell,熟悉C#、golang。 具備跨語言開發,微服務開發的能力。有產品開發、測試、維護全過程經驗。 掌握面向對象的設計思想,多線程,有良好的編程習慣及代碼風格; 涉及領域:CMake、云計算OpenS...查看詳情
項目經驗:1. 基于Python開發的Linux工具,內部廣泛使用。 2. 分布式編譯構建發布集成框架,配合Jenkins,完成海量代碼的同步編譯。...查看詳情
兼職日薪: 500元/8小時
技術能力:作為一名專業顧問,我具備深厚的技術能力。我精通Python編程,能夠利用其強大的數據處理和分析功能為客戶提供高效的解決方案。同時,我也熟練掌握Java語言,能夠開發出健壯、可維護的系統架構。此外,我還熟練運用SQL語言,能夠進行復雜的數據查詢和數據庫管理。這些技術能力使我在處理各...查看詳情
項目經驗:在我所從事的顧問角色中,我參與的幾個出彩項目充分展現了我的技術實力。 首先,我主導了網易云爬蟲項目。在這個項目中,我利用Python的requests和BeautifulSoup庫,成功爬取了網易云音樂中的歌曲信息,包括歌名、歌手、專輯等,有效支持了音樂數據分析的需求。 ...查看詳情
兼職日薪: 500元/8小時
技術能力:網站建設 python的flask,django開發框架,前端javascript,jquery,bootstrap 計算機視覺 opencv,caffe,mxnet...查看詳情
項目經驗:開發過基于flask后臺,提供基于深度學習視覺檢測的api服務器建設...查看詳情
兼職日薪: 500元/8小時
技術能力:熟悉Python語法,3年以上python語言開發經驗 熟練使用Linux開發環境,以及常用的Linux命令 熟悉HTTP/HTTPS協議、TCP/UDP、熟悉Socket,熟悉Shell腳本編程 熟練使用requests、re、以及xpath進行數據提取 熟悉使用基于多...查看詳情
項目經驗:2019/5-2019/6抖音爬蟲 --- 抓取抖音好物榜所屬公司: 杭州粉象家科技有限公司 項目描述: 該數據抓自:抖音App—搜索—人氣榜單—好物榜,抓取分為: 1.人氣好物,更新時間(每天中午12:00);2.分類榜單(每個榜單只有Top10),精品女裝,潮流男裝,美...查看詳情
兼職日薪: 500元/8小時
技術能力:? 后端框架:Django、Flask ? 數據庫:MySQL、Redis、MongoDB ? 前端:Vue.js、JavaScript ? 操作系統:Linux ? 工具:Docker、Git、Postman、MarkDown、Pycharm、VScode ? 爬蟲:...查看詳情
項目經驗:項目經驗: 數據可視化平臺 ? 使用Django+Pandas模塊操作數據 ,優化代碼 ,提高性能 ? 使用NumPy進行數據分析和科學計算。 ? 熟練使用Matplotlib,用于創建各種靜態圖表和數據可視 ? 使用JWT中間件實現接口鑒權 ? 使用Celery+R...查看詳情
案例展示: 數據可視化平臺;
兼職日薪: 500元/8小時
技術能力:python全棧開發,主要聚焦python web開發及 數據分析可視化方向。當然爬蟲也有涉及,但敏感違規信息不爬。技術關鍵詞有python django開發 python自動化 bootstrap vue 等。...查看詳情
項目經驗:1.校園為完善信息化水平,提高精準教學和大數據分析水平,特定需要開發小型數據分析平臺。全棧開發,從溝通、需求分析、效果預定,到功能界面開發,到后期調試修改,全部一人搞定。但僅供一個學校使用,數據量不大。 2.校園每學期需要進行教師評價,即學生給教師打分。校園初高中一體,有走班情...查看詳情
案例展示: 評測系統;校園數據分析可視化中心;
兼職日薪: 500元/8小時
技術能力:熟練使用requests、scrapy、Selenium,掌握多線程開發,可down成文件或是直接數據庫入庫, 有一定Python、C、Java語言基礎、掌握掌握Linux系統操作,可以使用shell編程,了解git協同開發 熟悉HTML、CSS、JS前端技術、掌握Vue、B...查看詳情
項目經驗:個性化電影推薦系統 項目概述:基于大數據時代,用戶對于海量電影難以抉擇觀看什么電影時,系統將根據用戶喜愛對其推薦電影。該系統使用 B/S結構模式,內部設置以下模塊:用戶/管理員信息模塊;爬蟲模塊;數據清洗模塊;高相似度匹配模塊; 使用技術:django + mysql + B...查看詳情
案例展示: 個性化電影推薦系統;簡易公司管理平臺;
兼職日薪: 500元/8小時
技術能力:1熟練學握爬中requests,scrapy,scrapy-redis,urlibs,selenium爬蟲流程,掌握正則表達式,xpath提取網頁資源方法就練構建分布式爬蟲。 2凱悉各個網站常見反爬簡略,能很據網頁分析出常見反爬手段 3針對不同反把蟲吸別網站,做出具體Scra...查看詳情
項目經驗:91再生(包括PC端與移動端) 負責網站web開發,編寫相關相蟲程序,想出反反爬策略,數據清洗,分表存儲。 1、需要爬蟲的數據經過分拆,得出是所需要的數據可進過POST請求并攜帶參數得到,考慮到數據最較多,采用scrapy-redis進行起取,因為該框架實現url和數據去重...查看詳情
兼職日薪: 500元/8小時
技術能力:1.熟悉 BI 項目開發流程、熟悉運用 Kylin 及 Tableau 等數據可視化展示工具 2.掌握數據倉庫 HIVE 、數據庫 Teradata、Gauss、MySQL 、了解 Hbase; 3.掌握 Linux 相關命令,熟悉 shell 腳本; 4.掌握 ...查看詳情
項目經驗:1. 招商銀行資產托管項目:專注于處理股票、債券、基金等數據信息,為證監會提供相應的日報、季報、半年報和年報。主要業務包括監管報送、人行報送和保險報表。 2. 主要工作內容: - Java 應用端:使用 Springboot 框架,根據業務需求進行 Java 項目...查看詳情
兼職日薪: 500元/8小時
技術能力:專業能力: 1. 掌握python,有相關項目開發經驗 2. 熟練應用Flask、Django框架開發web項目; 3.熟悉python爬蟲框架(PySpider、Scrapy),有豐富的數據爬取經驗,可以進行數據分析 4. 熟悉MySQL、SQLServer數據庫...查看詳情
項目經驗:工作內容:1.維護公司系統,完善相關技術文檔 2.應用python開發公司應用系統、爬取業務相關數據 3.完成領導交辦的其他事項 離職原因:個人原因...查看詳情
兼職日薪: 500元/8小時