專案亮點
- 設計多點震動馬達陣列，精準傳遞觸覺變化。
- 實現 50ms 內低延遲音畫振同步。
- 整合 AI 節奏提取與即時 RMS 音量偵測雙模態系統。
專案詳情
FootSense 是一項旨在提升虛擬實境（VR）沉浸感的互動技術研究。雖然目前的 VR 設備在視覺、聽覺以及手部觸覺（控制器）上已有顯著發展，但足部的互動反饋仍處於空白。本專案透過硬體原型與多模態訊號處理，成功將虛擬環境中的動態轉化為使用者足部的物理震動，達成更完整的沉浸體驗。
1. 核心開發目標
- 補足感知缺口：針對 VR 中常見的踩踏、踢擊或環境震動（如飛機引擎、恐龍腳步），提供對應的足部反饋。
- 多模態同步：確保視覺動畫、音訊節奏與物理震動在時間軸上精確對齊（延遲控制在 50ms 內）。
- 高泛用性：設計可切換的觸發模式，使其能應對預錄影片與動態生成的遊戲環境。
2. 硬體系統架構
本系統基於 Arduino UNO 控制核心，並結合了多種執行器以模擬不同層次的觸感：
- 推拉式電磁鐵 (Solenoid)：提供具備瞬時衝擊力的「點」擊感，適合模擬重物落地或強烈節拍。
- 偏心旋轉馬達 (ERM)：提供持續且平滑的震動感，適合模擬環境底噪或持續性動力。
- 自製壓克力足部平台：採用輕量化壓克力結構，整合 L298N 驅動模組與 24V 高電壓電源，確保反饋力道充足。
3. 觸覺觸發與處理機制
為了達成最佳的感官同步，我們開發了兩種互補的驅動邏輯：
- AI 節奏提取模式 (Offline)：利用
beat_thisAI 模型預先處理音訊，精確定位每一幀節拍點，實現與音樂旋律完美契合的震動。 - 即時 RMS 門檻模式 (Online)：透過 Python 實時監測系統音流，當音量陡增（如爆炸聲或重低音）時立即觸發震動，適用於無預處理的直連場景。
