TFM-Tokenizer · การแปลง EEG เป็นโทเค็น

สี่ขั้นตอนในการแปลง EEG แบบช่องสัญญาณเดียวเป็นโทเค็นแบบไม่ต่อเนื่อง ได้แก่ STFT และการแบ่งเป็นแพตช์ การเข้ารหัสตามเวลาและหน้าต่างสเปกตรัม การรวมข้อมูลระดับแพตช์แบบมีเกต และการควอนไทซ์

ลองใช้ Kimi Design ดูสิทธิประโยชน์สมาชิก

เริ่มจากพรอมต์นี้

แปลง EEG แบบช่องสัญญาณเดียวเป็นโทเค็นแบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่สำหรับ Transformer

เพิ่มคำกำกับการสูญเสีย

ใส่คำกำกับการสูญเสียจากการสร้างกลับให้กับแขนงการสร้างกลับแบบมาสก์ โดยคงส่วนอื่นของไปป์ไลน์ไว้ตามเดิม

ลองใช้ Kimi Design

สร้างแผนภาพวิธีการเชิงแนวคิดของ TFM-Tokenizer แนวนอนอัตราส่วน 16:9 เพื่อแสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็นโทเค็นแบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่ และป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การแปลง EEG แบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่ | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ตัวเข้ารหัสเชิงเวลา, อินพุตที่มาสก์ตามย่านความถี่เข้าสู่ตัวเข้ารหัสหน้าต่างสเปกตรัมเฉพาะที่, จากนั้นทั้งสองแขนงรวมกันที่การรวมแพตช์แบบมีเกต; ต่อด้วยการควอนไทซ์เพื่อสร้างคลังคำศัพท์โทเค็นและ EEG-Tokens, โดยการสร้างกลับแบบมาสก์จะกู้คืนสเปกโตรแกรม; ด้านขวาแสดงโทเค็น EEG ที่เรียนรู้แล้ว → การมาสก์ → ตัวเข้ารหัส Transformer → ส่วนหัวทำนายโทเค็น → การทำนายโทเค็นแบบมาสก์

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา สีส้มสำหรับคลังคำศัพท์และโทเค็น ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีการนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้

เปลี่ยนชุดสี

เปลี่ยนสีสเปกตรัม เส้นทางเชิงเวลา และโทเค็นเป็นสีคราม สีเขียวน้ำทะเล และสีชาด โดยไม่เปลี่ยนโครงสร้าง

ลองใช้ Kimi Design

สร้างแผนภาพวิธีการเชิงแนวคิดของ TFM-Tokenizer แนวนอนอัตราส่วน 16:9 เพื่อแสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็นโทเค็นแบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่ และป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การแปลง EEG แบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่ | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ตัวเข้ารหัสเชิงเวลา, อินพุตที่มาสก์ตามย่านความถี่เข้าสู่ตัวเข้ารหัสหน้าต่างสเปกตรัมเฉพาะที่, จากนั้นทั้งสองแขนงรวมกันที่การรวมแพตช์แบบมีเกต; ต่อด้วยการควอนไทซ์เพื่อสร้างคลังคำศัพท์โทเค็นและ EEG-Tokens, โดยการสร้างกลับแบบมาสก์จะกู้คืนสเปกโตรแกรม; ด้านขวาแสดงโทเค็น EEG ที่เรียนรู้แล้ว → การมาสก์ → ตัวเข้ารหัส Transformer → ส่วนหัวทำนายโทเค็น → การทำนายโทเค็นแบบมาสก์

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา และสีส้มสำหรับคลังคำศัพท์และโทเค็น, ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีการนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้

เพิ่มภาพร่างแบบหลายช่องสัญญาณ

เพิ่มภาพร่างขนาดเล็กของส่วนขยายแบบหลายช่องสัญญาณไว้ข้างหมายเหตุเชิงคุณภาพ

ลองใช้ Kimi Design

สร้างแผนภาพวิธีการเชิงแนวคิดของ TFM-Tokenizer แนวนอนอัตราส่วน 16:9 เพื่อแสดงการแปลง EEG แบบช่องสัญญาณเดียวเป็นโทเค็นแบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่ และป้อนเข้าสู่ Transformer

ชื่อเรื่อง: "TFM-Tokenizer: การแปลง EEG แบบไม่ต่อเนื่องในโดเมนเวลา-ความถี่ | ตัวอย่างเชิงแนวคิด"

รูปคลื่น EEG ผ่าน STFT และการแบ่งแพตช์แบบซ้อนทับตามลำดับ; อินพุตที่มาสก์ตามเวลาเข้าสู่ตัวเข้ารหัสเชิงเวลา, อินพุตที่มาสก์ตามย่านความถี่เข้าสู่ตัวเข้ารหัสหน้าต่างสเปกตรัมเฉพาะที่, จากนั้นทั้งสองแขนงรวมกันที่การรวมแพตช์แบบมีเกต; ต่อด้วยการควอนไทซ์เพื่อสร้างคลังคำศัพท์โทเค็นและ EEG-Tokens, โดยการสร้างกลับแบบมาสก์จะกู้คืนสเปกโตรแกรม; ด้านขวาแสดงโทเค็น EEG ที่เรียนรู้แล้ว → การมาสก์ → ตัวเข้ารหัส Transformer → ส่วนหัวทำนายโทเค็น → การทำนายโทเค็นแบบมาสก์

ใช้สีม่วงสำหรับสเปกตรัม สีน้ำเงินสำหรับเส้นทางเชิงเวลา สีส้มสำหรับคลังคำศัพท์และโทเค็น ใช้ลายแรเงาสีเทาสำหรับการมาสก์ บนพื้นหลังสีขาว พร้อมลูกศรและกล่องโมดูลที่ชัดเจน

คงหมายเหตุเชิงคุณภาพว่าวิธีการนี้ไม่ขึ้นกับโมเดล และปรับใช้กับโมเดลพื้นฐานและการตั้งค่าแบบหลายช่องสัญญาณได้