環境架設
左圖是環境架設的平面圖，右圖則是3D的架設示意圖。
平面圖
3D示意圖
下圖為Sony魚眼鏡頭和毫米波雷達在實驗室架設的位置。
實際架設狀況
左圖是環境架設的平面圖，右圖則是3D的架設示意圖。
平面圖
3D示意圖
下圖為Sony魚眼鏡頭和毫米波雷達在實驗室架設的位置。
實際架設狀況
以下是系統的整體架構圖，
系統分成設備資料初始化和系統與環境的調配，
其中初始化能使系統了解魚眼設備和雷達的相對關係的，
而系統調配則是微調參數讓系統來配合環境。
系統經由資料取得、資料匹配、曲線凝合和座標轉換的步驟，
使雷達的訊號映射到魚眼的畫面上。
我們需要給系統幾個初始的數據參考點，
因此必須在參考點中拍攝魚眼影像和擷取雷達數據。
以下是魚眼拍攝的參考點畫面，其中虛擬中心是指
建構者在魚眼設備正下方的位置。
系統至少需要三個定位參考點，我們建議第一個
參考點距離盡量接近魚眼，且建構者的臉部特徵
必須明顯地被魚眼拍攝。
第三個參考點站在欲定位範圍的最遠處，第二個
參考點則建議站在第一個和第三個參考點的中間
較為適合。
雷達測量: (-59, 513)
虛擬中心
雷達測量: (-115, 147)
距離虛擬中心: 88公分
定位點2
雷達測量: (-182, 644)
距離虛擬中心: 179公分
定位點1
雷達測量: (-219, 707)
距離虛擬中心: 251公分
定位點3
使用YOLO當作影像辨識的模型，且在910個資料中，
其中690個為訓練集資料，另外的220個為測試集資料，
訓練集比例約為75%，訓練次數達100萬次。
YOLO訓練集
辨識效果如下圖，對20張圖片，50個辨識對象，測試辨識率達85%。
辨識效果圖
當建構者在參考點透過魚眼拍攝到的圖像，
沒有辦法被YOLO辨識或辨識錯誤的目標時，
建構者必須調整圖像辨識和雷達偵測的資料。
資料匹配失敗
資料匹配成功
得到幾個可靠的定位參考點後，
而我們藉由曲線凝合的方式來使少量的參考點化成方程式，找參考點之外的雷達與圖像的關係。
x軸為雷達測量使用者和魚眼設備的距離，y軸為魚眼圖像上人的位置到圖像中心的像素差。
因建構者與魚眼設備越遠，則建構者在圖像上就會離圖像中心越遠。
以下兩圖比較只使用內插法和曲線凝合的差異。
比較內插法和曲線凝合的差異
經由上列步驟的處理，
我們得到定位參考點的雷達和圖像資訊，
且進一步知道兩設備在整個空間互相關係的曲線，
再把這個曲線帶入我們的演算法，就可以得到定位者在圖像上的相對位置。
步驟一，利用雷達測量每次定位者和虛擬原點的距離。
步驟二，將此距離帶入雷達和圖像的關係曲線，可得到相對應圖像上的距離。
步驟三，魚眼設備的座標和雷達量測座標會有一些角度上的偏差，而我們透過程式來將整個座標系統矯正回來。
最後步驟四，必須確認矯正角度過後的座標系統跟魚眼圖像的座標是不是一致的。
圖像座標轉換過程
因為系統初始化的資料關係，
其實際有效定位空間為 2.4米半徑、2.4米高的圓柱空間。
以下為單一目標分別在5個位置的系統定位狀況。
其中亮綠色為測試人員以頭為目標，所標記的定位位置，紅色為系統定位的標記。
單人系統定位效果圖(1)
單人系統定位效果圖(3)
單人系統定位效果圖(2)
單人系統定位效果圖(4)
單人系統定位效果圖(5)
在定位有效定位範圍的移動，轉換座標的誤差會比較小。
左圖為有效定位範圍的標記，右圖為超過有效定位範圍一公尺處，
也就是距離虛擬中心3.4公尺處的定位標記，
超越有效範圍後的定位效果就不比前者的定位效果來得好。
記錄以上5個位置的紅點和綠點的座標。
比較人工標定和系統的定位標記的效果，計算相差像素的平均為35.8個像素。
比較不同有效範圍的標記
人工與系統標記的座標記錄表
以下圖中，是多目標在定位空間被系統定位的狀況，
只要目標之間互相不要太靠近，當兩者之間的距離小40公分時，
雷達就容易將兩個目標判斷為同一個目標。
多人系統定位效果圖(1)
多人系統定位效果圖(2)