Trudności pomiaru postrzeganego z wykładu przy użyciu automatycznego rozpoznawania twarzy

Link: http://mplab.ucsd.edu/~jake/its08.pdf
Jacob Whitehill Marian Bartlett, a Javier Movellan
Maszyna Perception Laboratory z University of California, San Diego {Jake, movellan} @ mplab.ucsd.edu, [email protected]
Streszczenie. Pokażemy, jak automatyczne rozpoznawania w czasie rzeczywistym-nych mimika mogą być skutecznie wykorzystane do oszacowania poziomu trudności, postrzegany przez ucznia, o wygłosił wykład. Pokazujemy także, że dane wyrażenie fa-wych, są wykorzystywane do indywidualnego studenta korzystnego tempa prezentacji programów nauczania w danym momencie. Na zadania oglądania wykładu nagranego wideo, szkolenia na mniej niż dwóch minut nagranych danych ekspresji twarzy, system przewiduje “donoszący wyniki trudności ze średnią dokładnością 42% (Pearsona korelacji) i fotografowanych osób, których preferowanym oglądania ze średnią prędkością dokładność 29%. Nasze techniki są w pełni zautomatyzowane i mają potencjalne zastosowania dla obu systemów inteligentnych opieka oraz standardowych warunkach klasowych. 1
1. Wprowadzenie
Dokument ten bada użyteczność wyraz twarzy jako sygnał sprzężenia zwrotnego od studenta do nauczyciela. Poprzednia praca [2,3] zbadał za pomocą wyrazu twarzy w przewidywaniu stanu afektywnego ucznia. Dokument ten bada przydatność automatycznego rozpoznawania ekspresji dla dwóch zadań: (1) pomiar percepcji ucznia trudności z wygłosił wykład, a (2) określanie preferowanej prędkości widzenia studenta materiału lekcji. Przeprowadziliśmy pilotażowy eksperyment, w którym badani przeglądarką wykład wideo z regulowaną prędkością, a ich mimika były rozpoznawane automatycznie i zapisywane. Korzystanie z “trudnej sytuacji” wyniki że tematy raportu, korelacje między ekspresją twarzy i trudności, a także między ekspresją i preferowanej prędkości przeglądania, zostały ocenione.
Eksperyment 2
Badaliśmy, czy wyraz twarzy uczniów mogą być używane w celu oszacowania, jak trudno im znaleźć wykład być w każdej chwili w czasie, a także jak szybko woleliby, aby otrzymać instrukcje. W naszym doświadczeniu, każdy z ośmiu ludzkich tematów obserwował nagranego wykładu wideo 200 sekund (3 min 20 s) długości.Wykład wideo składała się z siedmiu krótkich sekwencji wideo, połączonych razem o odmiennego zakresu tematów, w tym fizyki, filozofii, matematyki, nastoletnich i plotek.Eksperyment udał się w następujący sposób: 1. Pełna wersja artykułu jest dostępna w [1].

 

1. Obejrzyj wykład wideo.

Prędkość odtwarzania może być regulowana przez podmiot za pomocą klawiatury. Dane ekspresji twarzy każdego pacjenta ludzkiego odnotowano podczas gdy oglądaliśmy film.

2. Weź udział w quizie.

Quiz składa się z sześciu konkretnych pytań o wykładzie. 3. Self-raport na trudności.Wykład został ponownie grać z prędkością 1,0. Tematy skorygował ocenę trudności pliku wideo na skali od 1 do 10. Systemu FacialexpressiondatawereanalyzedandrecordedautomaticallyusingtheCERT [4]. Wyjścia CERT szacuje intensywności twarzy “jednostek działania” (Aus) z filmów twarzy w czasie rzeczywistym. AU może być traktowane jako “fonemy” z mimiki twarzy działania w ramach systemu kodowania [5], który jest standardem kodowania ramy obiektywnie prawie całość ludzkiego wyrazu twarzy. CERT rozpoznaje AU 1, 2, 4, 5, 9, 10, 12, 14, 15, 17, 20 i 45, jak również Smile. Żaden z pacjentów był świadomy celów doświadczalnych lub tego wyrażenia dane zostały zapisane. Pacjenci byli zachęcani, aby zobaczyć EF-wideo (w sposób wystarczający przez regulację jego prędkości) o widocznym automatycznym “zaporowa” timer i quizu. W rzeczywistości, nie miał wpływu zegar, a quiz nie sklasyfikowane.
3. Analiza
Nasz eksperyment przyniósł trzy serie danych, które czas wyrównany:. 1 Trudność: własny Podawane wyniki badanych osób o jak trudne są postrzegane wykład w każdej chwili w czasie. . 2 prędkości: prędkość w każdym momencie wykład jako kontrolowany przez użytkownika. . 3. Wyrażenie: Asetofreal-valuedexpressionchannelsoutputbyCERTwhich oszacować intensywność ekspresji (13 kanałów 12 AU + Smile). Kanały zostały wygładzone przy użyciu lokalnej regresji kwadratowej. Zatrudnialiśmy regresji liniowej w ciągu kanałów Ekspresji przewidzieć zarówno trudności i prędkość (patrz rysunek 1 na przykład). Osobne szkolenie modele regresji dla każdego przedmiotu.Przeciętny korelacji (w stosunku do wszystkich 8 osobników) z wynikami Trudność przewidywanych w modelu regresji (szkolenie się wszystkie dane) z zgłaszanymi wyniki trudność 75%, co sugeruje, że ekspresja twarzowa zawiera dużą ilość sygnału użytecznego. Przedmioty wystawione szeroką zmienność których wyrażenia zostały skorelowane z trudem i Speed.

Wyrażenie najbardziej konsekwentnie skorelowane było AU 45 (“mrugać”).Korelacja była ujemna (tematy zamrugał mniej podczas trudniejszych odcinków wykładów), co jest zgodne z dowodów z psychologii eksperymentalnej, że migać wskaźnik spada, gdy odsetki lub obciążenie psychiczne jest wysoki [6]. Uogólnienie Wydajność: do oceny skuteczności przy użyciu wyraz twarzy przewidzieć trudności i szybkiego wartości w prawdziwym inteligentnego systemu edukacyjnego, podzieliliśmy serię danych do rozłącznych zbiorów treningowych i walidacji (patrz [1] szczegóły). Liniowe modele regresji ponad serii danych Expression zostali przeszkoleni na danych treningowych do przewidzenia trudności i prędkość dla każdego ludzkiego podmiotu. Wydajność została oceniona przez uogólnienie Przewiduje się skorelowanie donoszącym poziomie trudności oraz wartości prędkości na danych walidacyjnych.

 

Rys.1.

Porównanie wyników samodzielnie zgłaszane problemy z przewidywanych wyników trudności z korzystaniem regresji liniowej w ciągu kanałów ekspresji na twarzy Subject # 6. Wszystkie dane były wykorzystywane do szkolenia modelu regresji.
Średnia korelacja we wszystkich tematów przepowiada donoszącym róż-ficulty wynosił 42%;średnia korelacja for Speed ​​było 29%. Poszczególne odpo-niach były statystycznie istotne dla wszystkich, ale jednego przedmiotu. Chociaż wyniki te pokazują możliwość poprawy, oni już wykazywać wartości w czasie rzeczywistym automatycznego rozpoznawania twarzy wyrażenie w inteligentnych systemów szkoleniowych.
4 Konkluzje
Nasze wyniki pokazują, że automatyczne rozpoznawanie twarzy wyrażenie jest już użyteczny sygnał zwrotny dla inteligentnych systemów korepetycje dla dwóch konkretnych zadań: postrzegane oszacowanie trudności i przewidywania preferowaną prędkość. Jak technologia rozpoznawania wyrażenie poprawia, jego przydatność w ITS będzie nadal rosnąć.
Referencje
. 1 Whitehill, J., Bartlett, M. Movellan, J.: Pomiar postrzeganej trudności wykładu z wykorzystaniem automatycznego rozpoznawania twarzy wyrażenie. Raport techniczny 2008.01 Lab Maszyna skrócie (2008) – http://mplab.ucsd.edu/ ~ jake/its08.pdf. 2 Rio, H., Soli, AL, Aguirr, E., Guerrer, L., Santa, JPA:. Twarzy wyraz uznawania i modelowanie wirtualnych inteligentnych systemów szkoleniowych. W: Proceedings of the Mexican międzynarodowej konferencji na temat sztucznej inteligencji. (2000) 3 D’Mello, S., Picard, R., Graesser, A.:. Kierunku wpłynąć wrażliwe autotutor. IEEE Intelligent Systems, Wydanie specjalne na inteligentne systemy edukacyjne 22 (4) (2007) 4 Bartlett, M. Littlewort G., Frank M., Lainscsek, C, Fasel I., Movellan, J.:. Auto . rozpozna. działań twarzy w wyrażeniach spontanicznych. Jour. Multimedia (2006) 5 Ekman P., Friesen, W.:. Facial Action Coding System: Technika do pomiaru ruchu twarzy. Konsultacji Psychologowie Press, Inc, San Fran-cisco, CA (1978) 6 Holland, M., Tarłów, G.:. Miga i obciążenie psychiczne. Raporty psychologiczny 31 (1) (1972)

Comments are closed.