多模態(tài)數(shù)據(jù)同步
當(dāng)我們采用涉及多種設(shè)備記錄的多模態(tài)時,首先要解決的問題之一是:如何同步各種信號?原因的造成是研究人員使用了多種不同的操作系統(tǒng)和設(shè)備,這些操作系統(tǒng)和設(shè)備來自多個不同的設(shè)備廠家,或者由研究人員自己開發(fā)解決的問題-如何實現(xiàn)同步記錄的方法
為什么研究時需要與其它設(shè)備進(jìn)行同步?
很大的原因在于實驗?zāi)康幕蛘呤菍嶒炘O(shè)計決定的,單一的實驗技術(shù)在目前的實驗研究中很難有比較高的影響因子,因此多模態(tài)的實驗研究才顯得更新穎,更突出亮點。具體的實驗問題是如何同步不同的數(shù)據(jù)流,例如:眼動+腦電;眼動+近紅外;腦電+近紅外甚至是 眼動+腦電+近紅外技術(shù)。不管是哪種組合,同步數(shù)據(jù)流是最重要也是不可避免的問題之一,除了同步數(shù)據(jù)流之外,還有一個重要的刺激事件marker也是非常關(guān)鍵的,這就涉及到事件時間戳對齊的問題。
事件時間戳為何如此重要?
如果觸發(fā)事件的時間戳未能確保正確同步,得到的結(jié)果可能沒有用,事件時間戳的問題,適用于同步多模態(tài)的實驗。因為,我們在做ERP(事件相關(guān)電位)時,非常依賴觸發(fā)事件的準(zhǔn)確性。我們熟悉的ERP成分,如果看到下圖中的發(fā)生觸發(fā)的marker產(chǎn)生jitter,那么無論如何也得不到很好的結(jié)果的。
如何進(jìn)行同步信號的觸發(fā)
主要有兩種方法來確保兩個設(shè)備之間以及刺激表示之間的正確同步:
1) 基于硬件
1.1 TTL同步
基本上所有的設(shè)備發(fā)送trigger均可以通過并口端口進(jìn)行,因此使用并口端口將是解題方法之一。
現(xiàn)在所有的接頭都可以分為公頭和母頭兩大類。
公頭:泛指所有針式的接頭。
母頭:泛指所有插槽式的接頭。
所有接頭的針腳有統(tǒng)一規(guī)定,在接頭上都印好了的,連接時要注意查看。針對,每個設(shè)備型號的設(shè)備一般情況下使用手冊里都能找得到,并口也叫LPT端口,一下為常見的針腳定義。
如圖中所示,針腳2-9才是用來傳輸電平信號的,它的組合方式即為2的0次冪到7次冪,當(dāng)全部使用時,即可產(chǎn)生256個數(shù)字,一般情況下針腳25是用來接地的。
所以只需要做到刺激顯示電腦的一端使用的是25針的并口一分為二,兩路trigger信號分別供應(yīng)兩個不同的設(shè)備即可達(dá)到同步觸發(fā)。
1.2 并口+網(wǎng)口
在某些設(shè)備中,已經(jīng)有設(shè)備使用了網(wǎng)口進(jìn)行trigger的觸發(fā),那么在現(xiàn)有的條件下,我們就可以使用同一臺刺激電腦同時發(fā)送兩個不同的信號分別給兩個設(shè)備,
2) 基于軟件(Lab Streaming Layer)
TCP / IP同步
使用通用的TCP / IP協(xié)議來完成。這個過程是在兩個需要同步的系統(tǒng)之間創(chuàng)建一個TCP / IP連接(俗稱局域網(wǎng)),并使用預(yù)定義的協(xié)議來標(biāo)記事件。例如,在刺激軟件和記錄軟件之間使用TCP / IP連接將使我們能夠?qū)⑹录囊粋€發(fā)送到另一個,以標(biāo)記信號收集。TCP / IP在配置類型和可以交換的信息方面非常靈活。我們可以將其中刺激軟件的電腦用作服務(wù)器,而其它軟件則可以作為客戶端。一旦建立連接,就可以通過特定的IP地址將消息標(biāo)記從服務(wù)器發(fā)送到客戶端。由實驗刺激軟件通過LSL進(jìn)行發(fā)送數(shù)據(jù)流標(biāo)記。