TFM-Tokenizer · การแปลง EEG เป็น token

แปลง EEG แบบช่องสัญญาณเดียวเป็นโทเค็นแบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่สำหรับ Transformer

เริ่มจากพรอมป์ต์นี้

แปลง EEG แบบช่องสัญญาณเดียวเป็น token แบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่สำหรับ Transformer

สร้างแผนภาพแนวคิดของวิธีการ TFM-Tokenizer ในแนวนอนอัตราส่วน 16:9 แสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็น token แบบไม่ต่อเนื่องในโดเมนเวลา–ความถี่ แล้วป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การทำให้ EEG ในโดเมนเวลา–ความถี่เป็นแบบไม่ต่อเนื่อง | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ Temporal Encoder, อินพุตที่มาสก์ตามแถบความถี่เข้าสู่ Localized Spectral Window Encoder, จากนั้นทั้งสองแขนงรวมกันใน Gated Patchwise Aggregation; ตามด้วย Quantization เพื่อสร้าง Token Vocabulary และ EEG-Tokens พร้อม Masked Reconstruction ที่กู้คืนสเปกโตรแกรม; ทางด้านขวา แสดง EEG tokens ที่เรียนรู้แล้ว → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา สีส้มสำหรับคลังคำศัพท์และ token ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้

เพิ่มคำกำกับ loss

เพิ่มคำกำกับแขนง Masked Reconstruction ด้วย reconstruction loss โดยคงส่วนอื่นของไปป์ไลน์ไว้ตามเดิม

ลองใช้ Kimi Design

สร้างแผนภาพแนวคิดของวิธีการ TFM-Tokenizer ในแนวนอนอัตราส่วน 16:9 แสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็น token แบบไม่ต่อเนื่องในโดเมนเวลา–ความถี่ แล้วป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การทำให้ EEG ในโดเมนเวลา–ความถี่เป็นแบบไม่ต่อเนื่อง | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ Temporal Encoder, อินพุตที่มาสก์ตามแถบความถี่เข้าสู่ Localized Spectral Window Encoder, จากนั้นทั้งสองแขนงรวมกันใน Gated Patchwise Aggregation; ตามด้วย Quantization เพื่อสร้าง Token Vocabulary และ EEG-Tokens, พร้อม Masked Reconstruction ที่กู้คืนสเปกโตรแกรม; ทางด้านขวา แสดง EEG tokens ที่เรียนรู้แล้ว → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา สีส้มสำหรับคลังคำศัพท์และ token ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้

เปลี่ยนชุดสี

เปลี่ยนสีสเปกตรัม เส้นทางเชิงเวลา และ token เป็นสีคราม สีเขียวอมฟ้า และสีแดงชาด โดยไม่เปลี่ยนโครงสร้าง

ลองใช้ Kimi Design

สร้างแผนภาพแนวคิดของวิธีการ TFM-Tokenizer ในแนวนอนอัตราส่วน 16:9 แสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็น token แบบไม่ต่อเนื่องในโดเมนเวลา–ความถี่ แล้วป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การทำให้ EEG ในโดเมนเวลา–ความถี่เป็นแบบไม่ต่อเนื่อง | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ Temporal Encoder, อินพุตที่มาสก์ตามแถบความถี่เข้าสู่ Localized Spectral Window Encoder, จากนั้นทั้งสองแขนงรวมกันใน Gated Patchwise Aggregation; ตามด้วย Quantization เพื่อสร้าง Token Vocabulary และ EEG-Tokens พร้อม Masked Reconstruction ที่กู้คืนสเปกโตรแกรม; ทางด้านขวา แสดง EEG tokens ที่เรียนรู้แล้ว → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา และสีส้มสำหรับคลังคำศัพท์และ token, ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้

เพิ่มภาพร่างแบบหลายช่องสัญญาณ

เพิ่มภาพร่างขนาดเล็กของส่วนขยายแบบหลายช่องสัญญาณไว้ข้างหมายเหตุเชิงคุณภาพ

ลองใช้ Kimi Design

สร้างแผนภาพแนวคิดของวิธีการ TFM-Tokenizer ในแนวนอนอัตราส่วน 16:9 แสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็น token แบบไม่ต่อเนื่องในโดเมนเวลา–ความถี่ แล้วป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การทำให้ EEG ในโดเมนเวลา–ความถี่เป็นแบบไม่ต่อเนื่อง | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ Temporal Encoder, อินพุตที่มาสก์ตามแถบความถี่เข้าสู่ Localized Spectral Window Encoder, จากนั้นทั้งสองแขนงรวมกันใน Gated Patchwise Aggregation; ตามด้วย Quantization เพื่อสร้าง Token Vocabulary และ EEG-Tokens พร้อม Masked Reconstruction ที่กู้คืนสเปกโตรแกรม; ทางด้านขวา แสดง EEG tokens ที่เรียนรู้แล้ว → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา สีส้มสำหรับคลังคำศัพท์และ token ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้