1. 概述
工程需要把外置相機實時拍攝的內容導入 Unreal Engine 中進行處理計算。之后使用神經網絡模型把拍攝圖像轉換成視線落點的xy坐標。通過藍圖去計算2D視線聚焦點,并且對播放圖像進行反畸變處理,以確保畫面在VR設備中正常顯示。此外還會在場景中設置UI,并且對視線落點的物品進行視線懸停反饋。
2. 交付內容
2.1 Unreal Engine 項目
· 可運行的Unreal Engine 交互項目,包含 3. 功能需求 中的全部條例。
2.2 工程源文件
· 提供完整的工程源文件,對可編輯部分進行注釋。
2.3 使用說明
· 提供詳細代碼、藍圖等的使用說明,運行示例,參數配置說明。文字和(如有必要)視頻格式。
2.4 配置需求
· Unreal Engine 的適用版本,必要的第三方插件/腳本等配置的要求。
2.5 參考文獻
· 開發中如有使用參考的文獻和資源,請寫明。以便用戶進一步理解算法原理和實現細節。
3. 功能需求
3.1 同步相機
· 將四臺相機的 120fps 畫面的實時同步在 Unreal Engine 中,畫面延遲需小于 8ms。
3.2 使用神經網絡模型進行坐標點計算
·使用提供的神經網絡模型對畫面中的x和y(橫向和縱向)坐標點進行計算,計算延遲需小于4ms。
3.3 鏡頭后處理
· 反向適應VR設備鏡頭帶來的畸變,使左右眼相機的畫面可以在VR設備中正常顯示。
· 設置第三相機,不進行畸變,用于用戶VR內視角的外部展示。(用于TV,展示給使用者以外的人)
3.4 紅點進程校準
· 按鍵 空格鍵(space) 播放確認進程,進入下一個畫面/視頻。
· UI 懸停反饋:在用戶視線交點懸停在圖標上時,圖標進行變化反饋。
4. 里程碑和時間表
第一階段:開發和測試
· 視頻流導入Unreal Engine,使用神經網絡模型計算注視點。
· 搭建測試場景(2D),基于鼠標坐標進行模擬視點測試。
第二階段: 搭建場景渲染管線
· 根據提供的畸變函數庫、雙目距離和角度的數據搭建反VR視角畸變的相機視角(左眼和右眼)。
第三階段: 搭建UI交互
· 搭建UI系統和UI交互的動畫效果。
· 按鍵切換播放內容,播放內容結束后切回交互演示場景。
第四階段: 現場調試和交付
· 需要開發者本人出差到本地進行現場的調試,根據測試結果進行必要的優化。
· 能夠在測試設備上完整跑通管線,對參數進行調整。
· 準備用戶文檔和使用手冊。
· 完成最終交付和部署。
5. 我方提供的數據
· 4份 120fps 的視頻
· 計算所使用的神經網絡模型
· 用于鏡頭的反畸變函數矩陣/函數庫
· UI圖標(或場景)
· 出差使用的工作機