October 22nd, 2017
Building great things to reach the sky
Changing the world, We're dreaming to fly...
(+84) 123 664 9999
contact@mimas.com.vn

Portfolio

Giải mã thông tin trong sóng điện não – Hệ thống nhận diện cảm xúc con người

Brain Interface

 

Cảm xúc đi cùng với mỗi người trong cuộc sống hàng ngày và đóng một vai trò quan trọng trong giao tiếp phi ngôn ngữ của con người. Đó là một trong những điều kiện quan trọng để hiểu được các hành vi ứng xử của con người. Nhận diện cảm xúc có thể được thực hiện thông qua văn bản, hội thoại, cử chỉ cơ thể và biểu hiện khuôn mặt. Và trong xu hướng phát triển của con người trong đầu những thập kỷ này, sự cần thiết và quan trọng của các hệ thống nhận diện cảm xúc con người thông qua những tín hiệu “bên trong” từ sóng điện não (EEG) đã phát triển mạnh mẽ cùng với vai trò không ngừng tăng của các ứng dụng tương tác Não Máy (BCI interfaces) trong việc đặt con người vào vị trí trung tâm của mối tương tác số trong kỷ nguyên hiện đại.

“Giữa Coca và Pepsi, loại nào uống ngon hơn?”.

Trong một cuộc thử nghiệm “mù” (không nêu nhãn hiệu), hai loại thức uống trên được thưởng thức và đánh giá hoàn toàn như nhau. Nhưng nếu thương hiệu của sản phẩm được xướng lên trước khi cho nếm thử thì Coca được đa số người tình nguyện chọn uống. Kết luận: Coca chỉ ngon hơn khi người ta biết đó là Coca! Sau đó, hình chụp cộng hưởng từ chức năng (fMRI) đã chứng minh được ấn tượng Coca qua sự tăng tốc hoạt động của 2 vùng não: vùng vỏ não trước trán – sau bên (CPFDL) và vùng hải mã (hippocampus). Vùng CPFDL kích hoạt những suy nghĩ tích cực, vùng hải mã gợi lại những thông tin có liên quan đến cảm xúc. Khi chọn lựa, từ trong tiềm thức đối tượng sẽ nhớ lại ký ức đẹp về một nhãn hàng và hướng sự chú ý của mình vào một sản phẩm nhất định. Quyết định này dường như nằm ngoài lập luận của lý trí. Ngoài ra, nghiên cứu trên cũng đã chứng minh được rằng thông qua quảng cáo, một doanh nghiệp sẽ tạo ra những tác động rất trực tiếp lên bộ não. Đó là một ảnh hưởng thiên về cảm xúc nhưng khoa học hoàn toàn cân đong đo đếm được.

Trên đây là một lợi ích từ việc khai thác tiềm năng của sóng điện não. Sản phẩm ứng dụng có thể đáp ứng được tốt trong việc điều tra thị trường, tiếp thị sản phẩm, … Đây là một công cụ rất hữu ích, mang lại nhiều giá trị khoa học và kinh tế cao.

Ngoài ứng dụng trong lĩnh vực điều tra thị trường như ví dụ nêu trên, một trong những loại ứng dụng khá hữu ích đối với các nhà sản xuất, đạo diễn hay nhà biên soạn kịch bản phim, âm nhạc đó là công cụ đo nhận phản ứng trạng thái tâm lý của người xem/nghe đối với tác phẩm nghệ thuật. Những kết quả phản hồi trạng thái tâm lý của người xem đối với một đoạn video/bộ phim sẽ cung cấp cho đạo diễn một cái nhìn thực tế về chất lượng của đoạn video hay bộ phim đó trước khi đưa ra ngoài thị trường. Và công cụ đo nhận cảm xúc này nếu có thể chỉ rõ những phân đoạn trong bộ phim/video mà hiệu quả chưa thật sự tốt với người xem thì các đạo diễn hoàn toàn có thể cho thực hiện lại các phân đoạn kém hiệu quả đó. Điều này thật sự có ý nghĩa và mang lại chất lượng tốt hơn cho các hoạt động nghệ thuật.

Hàng năm các đạo diễn cho ra đời hàng nghìn bộ phim trên toàn thế giới. Trong đó tập trung phần lớn ở Mỹ. Đây là một thị trường tiềm năng đối với các thiết bị đo nhận cảm xúc/ trạng thái của người xem đối với các bộ phim trước khi tung ra thị trường. Trên thực tế, đạo diễn nổi tiếng James Cameron cũng đã sử dụng thiết bị thu nhận sóng điện não EEG để kiểm tra hiệu quả tâm lý của người xem trước khi tung siêu phẩm điện ảnh Avatar ra thị trường.

Trên đây là hai trong số rất nhiều những ứng dụng tiềm năng của việc khai thác sóng điện não EEG của con người. Trên thực tế, các nhà nghiên cứu và các doanh nghiệp nước ngoài đã sớm nhìn nhận ra tương lai phát triển của tương tác số. Trong đó, cách thức mà con người giao tiếp với máy tính thông qua ý nghĩ (sóng điện não) là một trong những quan tâm hàng đầu.

eeg-headset-595x335-c

Cho đến ngày nay thế giới đã có những bước tiến dài trong việc nghiên cứu sóng EEG, rất nhiều sản phẩm máy điện não, kèm theo cả phần mềm trị giá tới triệu đô la Mỹ đang được triển khai trong các bệnh viện phục vụ chuẩn đoán, chữa trị bệnh động kinh. Ngoài ra rất nhiều tập đoàn lớn cũng đang đầu tư hàng triệu đô la Mỹ cho việc nghiên cứu EEG như việc giao tiếp, xác định cảm xúc con người. Năm 2009 công ty Toyota công bố đã thành công trong việc nghiên cứu xe lăn được điều khiển bằng sóng não mà không cần dùng cơ bắp hay giọng nói. Xe lăn rẽ trái, rẽ phải, tiến và dừng lại được thực hiện thông qua suy nghĩ của con người. Công ty Emotiv Limited là một trong những công ty của Mỹ thành công trong việc nghiên cứu chuyên sâu về sóng điện não và đã có sản phẩm bán ra thị trường. Sản phẩm của công ty là một mũ Epoc có chức năng thu nhận sóng điện não, kết hợp với Epoc là bộ thư viện EDK (Emotiv development kit), bộ thư viện này có khả năng thu nhận và xử lý rất tốt tín hiệu sóng não của con người và có khả năng ứng dụng rất nhiều trong các lĩnh vực giáo dục, y tế, an ninh quốc phòng.

emotiv-epoc-ardrone-parrot-rc-helicopter-virtual-eye-wheelchair-e1346577842278

Tại Việt Nam, Từ những năm 2008, nhóm MIMAS đã tiến hành nghiên cứu và bước đầu đã thu được những kết quả khả quan của việc ứng dụng giải mã thông tin sóng não hỗ trợ chẩn đoán bệnh. Cuối 2009, nhóm đã đạt được giải nhất cuộc thi ImagineCup do Microsoft tổ chức tại Việt Nam. Sản phẩm của tác giả là một hệ thống hỗ trợ cho bác sĩ trong việc chăm sóc trẻ em bị bại liệt cũng như hỗ trợ cho các em trong một số sinh hoạt hằng ngày. Dựa trên nền tảng của việc giải mã những thông tin ẩn trong tín hiệu sóng não, sản phẩm của nhóm tác giả đã bước đầu chứng tỏ được hướng đi đúng đắn và gây được sự quan tâm của giới khoa học chuyên môn. Tiếp tục hướng nghiên cứu đó, tác giả tiếp tục thực hiện nghiên cứu và tham gia vào các buổi hội thảo khoa học, đặc biệt là giữa năm 2010, các kết quả nghiên cứu của nhóm đã được chấp nhận báo cáo tại hội nghị khoa học quốc tế SOICT2010.

giai Nhat

NHẬN DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU SÓNG NÃO

Có nhiều nghiên cứu trước đây về việc nhận dạng cảm xúc dựa trên tín hiệu sóng điện não và có một số công trình nghiên cứu liên quan về bài toán đã được công bố. K. Ishino et al đề xuất hệ thống nhận dạng cảm xúc với độ chính xác 54.4% cho cảm xúc vui, 67.7% cho tức giận, 59% cho buồn và 62.9% cho thư giãn. Berkman et al sử dụng mạng nơ-tron để dự đoán cảm xúc tích cực và tiêu cực với độ chính xác 43%. Lin et al đã phát triển phương pháp phân loại đa lớp SVM (multi-class support vector machine) cho bài toán nhận dạng cảm xúc. Kết quả thu được với độ chính xác trung bình 82.37% cho các cảm xúc vui, buồn, tức giận và thoải mái. Chanel et al sử dụng phương pháp phân loại Naïve Bayes và đưa ra độ chính xác lớn tốt nhất khoảng 58% cho ba loại cảm xúc (thư giãn, hạnh phúc, bình thường). Phương pháp phân loại SVM cũng được sử dụng cho việc phân loại cảm xúc với độ chính xác 32% cho Valence và 37% cho Arousal. Trong đó, Valence thể hiện sự biến thiên của cảm xúc từ tiêu cực đến tích cực và Arousal thể hiện sự biến thiên từ bình tĩnh đến kích thích. Gần đây, Y. Liu et al đưa ra mô hình nhận dạng dựa trên lý thuyết về phân dạng (FD-fractal dimension). Họ cũng chỉ ra rằng mô hình phân dạng cho độ chính xác cao hơn trong nhân dạng cảm xúc dựa trên EEG. Mô hình họ đề xuất có thể nhận dạng được sáu cảm xúc cơ bản như buồn, vui, lo sợ, thoải mái, hạnh phúc, và thất vọng.

emotion

Hiện có những hướng tiếp cận khác nhau cho bài toán nhận dạng cảm xúc. Do vậy tồn tại nhiều mô hình nhận dạng cảm xúc khác nhau. Nhóm phát triển mô hình dựa trên mô hình cảm xúc Russell, thuật toán HFD và phương pháp phân loại SVM. Kết quả thực nghiệm chỉ ra rằng mô hình có thể nhận dạng được sáu nhãn cảm xúc cơ bản (vui, tức giận, buồn, thư giãn, bình thường và buồn ngủ) với độ chính xác trung bình là 81%. Thêm vào đó, mô hình có thể mở rộng áp dụng cho một lớp đối tượng thay vì cho từng cá nhân riêng biệt.

 

I.    Mô hình cảm xúc Russell

Hiện nay, có nhiều mô hình cảm xúc được đưa ra dựa trên các nghiên cứu về thần kinh học. Nhìn chung, những mô hình này có thể chia thành hai nhóm chính.

Nhóm thứ nhất là các mô hình cảm xúc rời rạc. Những mô hình này có một vài cảm xúc chính như tức giận, sợ hãi, buồn, ghê sợ, ngạc nhiên, háo hức, chấp nhận, và yêu thích. Các cảm xúc khác là sự tổ hợp của các cảm xúc chính này. Nhóm thứ hai là các mô hình cảm xúc liên tục.

Mô hình Russell là một mô hình cảm xúc liên tục. Trong các mô hình cảm xúc liên tục, các cảm xúc được phân bố trong một không gian hai chiều với hai trục cơ bản là valence và arousal như hình 1. Trục valence bắt đầu từ tiêu cực đến tích cực và trục arousal bắt đầu từ bình tĩnh đến kích thích. Mỗi trục có 9 thang đo từ 1 đến 9. Trong nghiên cứu của mình, nhóm sử dụng mô hình Russell bởi từ mô hình này chúng ta có thể xác định được các cảm xúc như trong mô hình rời rạc bằng cách định vị các vị trí trong không gian 2 chiều valence, arousal.

vsd

Hình 1- . The circumplex model – Russell

II.   Thuật toán Higuchi Fractal Dimension

Phân tích hình học fractal được áp dụng tốt cho các hệ thống phi tuyến và cho dãy tín hiệu trong thời gian thực. Phương pháp này được áp dụng trong nhiều nghiên cứu về xử lí tín hiệu, đặc biệt là sóng điện não EEG. Trong nghiên cứu của mình, Higuchi để đề xuất một thuật toán để phân tích chiều hình học fractal của dãy các tín hiệu theo thời gian đó là HFD. HFD cung cấp một phương thức hiệu quả để xác định đặc tính của dãy các tín hiệu tuần tự. Dãy tín hiệu này có đặc tính là mỗi một thành phần của dãy có thể được coi là hình ảnh thu nhỏ của cả dãy. Có thể sử dụng tính chất này để tính toán đặc trưng của dãy tín hiệu theo thời gian thực. Mỗi một dãy con tín hiệu mới nhận được từ nguồn có thể làm đầu vào cho thuật toán HFD. Nhờ vậy, việc tính toán ra giá trị đặc trưng fractal có thể thực hiện liên tục theo thời gian thực.

neurons-computer-interfaces

HỆ THỐNG NHẬN DẠNG CẢM XÚC

Chúng tôi đề xuất một hệ thống để nhận dạng sáu trạng thái cảm xúc của con người theo thời gian thực, dựa trên các thông tin thu được từ sóng điện não (hình 2).

dsv

Hình 2- . Hệ thống nhận dạng cảm xúc

 

Hệ thống bao gồm các bước :

I.      Pha thu thập và huấn luyện dữ liệu

  1.    Thu thập dữ liệu – Data Acquisition
  2.    Loại bỏ – Elimination
  3.    Lọc băng tần – Band-pass Filter
  4.    HFD
  5.    Gán nhãn cảm xúc – Emo mapping
  6.    Huấn luyện

II.     Pha nhận dạng

Trong pha này, tín hiệu EEG của TNV cũng đi qua các bước xử lí lọc băng tần, tính giá trị FD trước khi được đưa vào pha nhận dạng. Mục tiêu của chúng tôi là xây dựng một chương trình nhận dạng cảm xúc theo thời gian thực, tức là mỗi một biến chuyển về cảm xúc của người dùng đều được nhận dạng và hiện ngay kết quả trên màn hình. Để đạt được mục tiêu tính toán thời gian thực, chúng tôi sử dụng một bộ đệm chứa 640 tín hiệu điện n.o để làm đầu vào cho bước tính giá trị FD và sử dụng kỹ thuật cửa sổ trượt. Mỗi 500ms, thiết bị Epoc thu được 64 tín hiệu mới để cho vào bộ đệm, bỏ 64 tín hiệu cũ đi, đồng thời chương tr.nh tính giá trị FD và sau đó đưa vào nhận dạng.

Giá trị kích thước bộ đệm được lựa chọn nhờ kết quả từ thực nghiệm. Bảng 2 minh họa kết quả thực nghiệm tiến hành trên một TNV với các lựa chọn kích thước bộ đệm khác nhau. Từ thực nghiệm thì kích thước bộ đệm 640 tín hiệu có độ chính xác nhận dạng cao nhất. Do cảm xúc con người không biến chuyển quá nhanh trong khoảng thời gian ngắn, chúng tôi chọn độ dịch là 64 để vừa đảm bảo thời gian tính toán theo thời gian thực vừa đảm bảo độ chính xác nhận dạng cảm xúc trong khoảng thời gian 500 ms.

 

Bảng 2. Kết quả thực nghiệm nhận dạng lựa chọn kích thước bộ đệm

 

Kích thước

Vui Tức giận Buồn Thoải mái Bình thường Buồn ngủ Trung bình

1024

72.99% 71.47% 77.75% 72.65% 72.71% 71.71%

73.21%

640

81.00% 80.00% 82.00% 82.00% 82.00% 81.00%

81.33%

320 75.00% 70.00% 77.78% 77.78% 74.44% 74.44%

74.91%

 

III.    Thiết bị phần cứng Emotiv

Trong báo cáo này, các hoạt động liên quan đến việc thu thập tín hiệu sóng điện não từ đầu TNV đều sử dụng thiết bị Epoc của công ty Emotiv. Thiết bị này gồm hai thành phần, một thành phần có dạng như một chiếc mũ để đặt lên đầu người dùng (hình dưới), một thành phần gắn với cổng USB của máy tính để đảm nhận việc truyền tín hiệu từ chiếc mũ đến máy tính thông qua sóng Wifi. Mũ Epoc bao gồm 14 điện cực tương ứng với 14 vị trí để thu thập tín hiệu sóng điện não trên đầu người dùng. Khi sử dụng, để nhận được tín hiệu sóng điện phát ra từ não người, các điện cực này phải được làm ẩm bằng dung dịch đi kèm với thiết bị.

EMOTIV

Tín hiệu thu được từ mũ trả ra dưới dạng tệp tin .edf, có thể sử dụng chương trình Test Bench đi kèm gói thiết bị để xem trực tiếp hay xem lại chuỗi tín hiệu sóng điện não biến đổi theo thời gian. Để tiện cho việc tính toán và sử lý tín hiệu, gói thiết bị có sẵn chương trình để chuyển tệp .edf sang tệp .csv. Hình 3 minh họa việc xem lại tệp tin .edf bằng chương trình Test Bench. Hình 4 là hình ảnh file .csv lưu trữ thông tin tín hiệu sóng điện não thu được từ 14 điện cực của mũ Epoc và các thông số khác.

vếdv

Hình 3. Tín hiệu sóng điện não theo thời gian, ảnh chụp màn hình chương trình Test Bench

vếdácv

Hình 4. Minh họa thông tin lưu trong tệp tin .csv

MỤC TIÊU, ĐỊNH HƯỚNG

 Tối ưu hóa mô hình đề xuất, hoàn thiện sản phẩm và dịch vụ hỗ trợ cho doanh nghiệp trong việc nghiên cứu, điều tra thị trường dựa trên mô hình nhận dạng cảm xúc từ sóng điện não.

Với phương pháp điều tra thị trường thông thường, sau khi được xem hoặc sử dụng sản phẩm, người dùng được yêu cầu đánh giá những cảm nhận của họ về sản phẩm. Những cảm nhận về sản phẩm và dịch vụ đôi khi không được phản hồi một cách chính xác từ phía khách hàng bởi nhưng yếu tố chủ quan và khách quan. Nhận dạng cảm xúc bằng sóng điện não có thể khắc phục được những nhược điểm của những phương pháp thông thường khác.

465057-1366x768

 Lợi ích mang lại cho doanh nghiệp:

  • Cung cấp bản điều tra thị trường tốt hơn nhờ loại bỏ được yếu tố chủ quan và khách quan của khách hàng và nhân viên điều tra trong quá trình điều tra thị trường.
  • Giảm chi phí bởi thay vì trực tiếp gặp mặt khách hàng, doanh nghiệp vẫn điều tra được thị trường bằng việc gửi đoạn video giới thiệu về sản phẩm và nhận thông tin phản hồi từ sóng điện não thông qua Internet và công nghệ điện toán đám mây.

 

Mô tả sơ qua về sản phẩm và dịch vụ:

  •  Phần mềm: Xây dựng giải pháp và dịch vụ đo lường mức độ hấp dẫn của sản phẩm đối với khách hàng. Đồng thời ứng dụng công nghệ điện toán đám mây trong việc xây dựng kho lưu trữ thông tin và phản hồi từ khách hàng.
  • Phần cứng: Xây dựng máy tính nhúng dạng Bảng chạy trên nền tảng Android kết nối với các smart TV và thiết bị đo sóng điện não. smart TV hiện thị những đoạn video clip về sản phẩm cần quảng cáo. Thiết bị phần cứng do sóng điện não, truyền thông với phần mềm, và hiện thị mức độ hài lòng của khách hàng về sản phẩm. Đồng thời thiết bị có thể kết nối internet, usb, … để thực hiện việc tương tác công nghệ điện toán đám mây.

 

Our Partners

Innovation and Excellence