互動投影系統的核心在于人物動作捕獲、信息處理和虛擬反饋三個環節。通常一套互動投影系統是有配套的應用軟件與硬件聯合構成的。
人物動作的捕獲采集是互動投影技術的基礎。目前主要的采集器采用光學或者紅外攝像技術,通過高達每秒幾十次的速度對人體動作進行捕捉,為虛擬世界的形態轉變提供基礎數據。采集器的靈敏和準確程度很大程度上決定了虛擬互動的真實性。
信息數據的處理通常由通用或者裝用的計算機服務器完成。信息處理要求具有較高的處理速度,對機器硬件性能的穩定性要求很高。同時,數據分析過程也不許用有必要的軟件系統。該類軟件的開發是“互動投影系統”的核心構建。每個企業通常會獨立開發或者采購它廠的軟件方案。為了保障程序執行速度,目前國內市場采用C/C++等高執行效率預言開發的程序軟件占據主體市場。
數據分析軟件還要完成顯示輸出圖像的合成和變化工作,最終夠造出符合顯示信息的虛擬信息數據集合,并將其以必要的格式輸出給顯示設備。
虛擬反饋環節包括了虛擬信息集合的構建以及顯示輸出兩個部分。互動投影系統不僅可以采用投影機作為顯示器件,也可以采用其它顯示產品,例如LED大屏幕、平板電視機作為顯示產品。但是綜合來講由于投影機產品的各種優勢,目前市場主流的互動顯示技術采用投影機產品作為顯示設備方案。
除此之外,互動投影系統還需要必須的控制和監控系統,音響輔助系統、傳輸和數據存儲系統等的配合工作。