Multimodalno\u015b\u0107 komunikacji mi\u0119dzyludzkiej zajmuje mnie od kilkunastu lat, a\u00a0dzi\u0119ki pracom badawczym w dziesi\u0119ciu projektach naukowych prowadz\u0119 badania naukowe we wsp\u00f3\u0142pracy z wieloma naukowcami w Polsce i na \u015bwiecie. Wsp\u00f3lnie z nimi opublikowa\u0142em kilkana\u015bcie artyku\u0142\u00f3w i tom\u00f3w (wykaz w za\u0142. 2) oraz uczestniczy\u0142em w prawie 50 mi\u0119dzynarodowych konferencjach i seminariach naukowych. Jestem cz\u0142onkiem grupy badawczej DIAGEST pod kierownictwem prof. dr. hab. Macieja Karpi\u0144skiego i pracownikiem Zak\u0142adu Psycholingwistyki, kt\u00f3rego kierownikiem jest prof. dr hab. Nawoja Miko\u0142ajczak-Matyja, a za\u0142o\u017cycielk\u0105 \u2013 prof. dr hab. Piotra \u0141obacz. Kontakt z wymienionymi naukowcami zainspirowa\u0142 mnie do szukania odpowiedzi na pytanie o znaczenia zachowa\u0144 komunikacyjnych, kt\u00f3re obserwujemy u ludzi.<\/p>\n
Pierwsze obserwacje poczyni\u0142em jeszcze w trakcie studi\u00f3w, kiedy rozpocz\u0105\u0142em zbiera\u0107 przyk\u0142ady gier s\u0142ownych w polskiej prasie i reklamie. Zainspirowa\u0142y mnie badania Danuty Butler (kt\u00f3ra analizowa\u0142a przyk\u0142ady z polskiej prasy dwudziestolecia mi\u0119dzywojennego) oraz analizy j\u0119zyka reklamy (Bralczyk 1998; Zimny 2008). Korpus kilkuset gier s\u0142ownych (paronomazji, kontaminacji i aliteracji z\u00a0lat 2000-2003) pos\u0142u\u017cy\u0142 mi jako materia\u0142 w pracy magisterskiej i w\u00a0dw\u00f3ch publikacjach o aspektach psycholingwistycznych gier. W grach s\u0142ownych zaintrygowa\u0142y mnie interakcje brzmie\u0144 i znacze\u0144, kt\u00f3re wyja\u015bniam za pomoc\u0105 fonologii naturalnej i teorii amalgamat\u00f3w poj\u0119ciowych oraz metafory poj\u0119ciowej.<\/p>\n
Nast\u0119pnie w kolejnych projektach badawczych zainteresowa\u0142y mnie r\u00f3\u017cne formy dialogu: zadaniowy, dialog dziecka z komputerem (awatar\u0105 Marni), narracje i\u00a0sesje coachingowe. Dialog zadaniowy charakteryzuje si\u0119 szybkim tempem i du\u017cym zaanga\u017cowaniem poznawczym uczestnik\u00f3w, co wp\u0142ywa na kr\u00f3tkie pauzy pomi\u0119dzy ich wypowiedziami i gwa\u0142towne zmiany intonacji. Zadanie takie jak MapTask (wskazywanie drogi na r\u00f3\u017cnych mapach) lub origami (sk\u0142adanie figur z kartek papieru) wymaga od prowadz\u0105cego rozmow\u0119 wydawania konkretnych polece\u0144 i\u00a0kontrolowania post\u0119p\u00f3w rozm\u00f3wcy wykonuj\u0105cego zadanie. Dialog dziecka z\u00a0komputerem w procesie nauki czytania w j\u0119zyku angielskim realizowa\u0142em we wsp\u00f3\u0142pracy z kilkoma szko\u0142ami podstawowymi w Poznaniu i udzia\u0142em kilkana\u015bciorga dzieci, kt\u00f3rych rodzice zgodzili si\u0119 na udzia\u0142 w badaniach i nauk\u0119 z komputerem. Model procesu nauczania czytania opar\u0142em na koncepcjach Wygotskiego, Brunera i\u00a0Tomasello oraz teorii medi\u00f3w Reeves i Nass. Wyniki bada\u0144 prezentowa\u0142em na konferencji w Bostonie (Joint Attention 2009) i w publikacji (Juszczyk 2006). Do\u015bwiadczenia zgromadzone podczas prac nad anotacj\u0105 i analiz\u0105 nagra\u0144 dialog\u00f3w komunikacji mi\u0119dzyludzkiej oraz dziecka z komputerem przygotowa\u0142y mnie do prowadzenia bada\u0144 w dw\u00f3ch projektach, kt\u00f3re zaplanowa\u0142em samodzielnie i na kt\u00f3re otrzyma\u0142em dofinansowanie z Narodowego Centrum Nauki i Fundacji na Rzecz Nauki Polskiej. Efektem projekt\u00f3w jest monografia po\u015bwi\u0119cona metaforze oraz aplikacja komputerowa do analizy ruch\u00f3w r\u0105k KINEMO. Monografia ma na celu przedstawienie modeli i bada\u0144 metafory w komunikacji mi\u0119dzyludzkiej.<\/p>\n
Prowadz\u0119 tak\u017ce badania rozwojowe w ramach j\u0119zykoznawstwa komputerowego i komputacyjnego. Rozwijam programy do rozpoznawania emocji w\u00a0ge\u015bcie i s\u0142owie. Automatyzacja anotacji ruch\u00f3w r\u0105k z wykorzystaniem czujnik\u00f3w ruchu to projekt z zakresu bada\u0144 rozwojowych. Aplikacja identyfikuj\u0105ca i klasyfikuj\u0105ca ruchy r\u0105k KINEMO znajdzie zastosowanie w\u015br\u00f3d psycholog\u00f3w, psychiatr\u00f3w, trener\u00f3w wyst\u0105pie\u0144 publicznych oraz coach\u00f3w czy doradc\u00f3w zawodowych. Aplikacja zosta\u0142a oparta na systemie kodowania ruch\u00f3w r\u0105k NEUROGES, kt\u00f3ry umo\u017cliwia powi\u0105zanie cech zachowania w komunikacji z cechami osobowo\u015bci oraz niekt\u00f3rymi zaburzeniami psychicznymi. Aplikacja w wersji demonstracyjnej zosta\u0142a ju\u017c zaprezentowana na III finale konkursu FNP\/INTER w Warszawie. Wcze\u015bniej zosta\u0142a wyr\u00f3\u017cniona pierwsz\u0105 nagrod\u0105 w konkursie Fundacji na Rzecz Nauki INTER2013 za popularyzacj\u0119 nauki i projekt bada\u0144 interdyscyplinarnych. Aplikacja umo\u017cliwia eksport danych z anotacji automatycznych do kilku format\u00f3w i program\u00f3w: ELAN, THEME, EXCEL. Anotacje po poprawkach w programie ELAN s\u0105 analizowane w\u00a0programie THEME do zaawansowanych bada\u0144 statystycznych. Aplikacja powsta\u0142a we wsp\u00f3\u0142pracy z informatykiem mgr Kamilem Ciecierskim. Przyk\u0142adowym zastosowaniem aplikacji jest analiza zachowania podczas sesji coachingowej lub psychoterapeutycznej. Sesja jest dialogiem prowadzonym przez coacha lub psychoterapeut\u0119 z klientem lub pacjentem i mo\u017ce zosta\u0107 zarejestrowana przez kamery w czujniku ruchu MS Kinect. Analiza jako\u015bciowa nagrania pozwala wykry\u0107 ruch r\u0105k i okre\u015bli\u0107 ich parametry. Analiza ilo\u015bciowa okre\u015bla stan emocjonalny obu uczestnik\u00f3w, przebieg proces\u00f3w poznawczych i ich interakcj\u0119 podczas sesji. Wyniki analiz s\u0105 por\u00f3wnywane z badaniami nad neuropsychologi\u0105 komunikacji i diagnoz\u0105 zaburze\u0144 psychicznych takich jak depresja czy aleksytymia. Inne zastosowania to przyporz\u0105dkowanie do typ\u00f3w osobowo\u015bci, weryfikacja to\u017csamo\u015bci, rozwijanie umiej\u0119tno\u015bci mi\u0119kkich (wyst\u0105pienia publiczne, negocjacje i mediacje). Interpretacja anotacji automatycznych jest oparta na badaniach neuropsychologicznych i systemie kodowania ruch\u00f3w r\u0105k NEUROGES. Testy oprogramowania wykaza\u0142y wysok\u0105 skuteczno\u015b\u0107 rozpoznawania poszczeg\u00f3lnych typ\u00f3w ruch\u00f3w r\u0105k (F-score=0,6). Aplikacja jest rozwijana we wsp\u00f3\u0142pracy z Politechnik\u0105 Pozna\u0144sk\u0105 i prof. Hedd\u0105 Lausberg z Kolonii oraz szkolonymi przez ni\u0105 anotator\u00f3w. Nagrania testowe by\u0142y realizowane w Dundee i Poznaniu przy wsp\u00f3\u0142pracy ze studentami i certyfikowanymi coachami International Coaching Federation. Aplikacja by\u0142a prezentowana w Pary\u017cu, Nantes i w Poznaniu oraz w Warszawie. Zebrali\u015bmy pozytywne opinie i podj\u0119li\u015bmy wsp\u00f3\u0142prac\u0119 z badaczami z Wielkiej Brytanii i Niemiec, kt\u00f3rzy planuj\u0105 wykorzysta\u0107 aplikacj\u0119 w swoich badaniach.<\/p>\n
Publikuj\u0119 tak\u017ce rozwa\u017cania z zakresu komunikologii dotycz\u0105ce modelowania multimodalno\u015bci w komunikacji mi\u0119dzyludzkiej (Juszczyk 2008; Juszczyk 2011; Konat I Juszczyk 2016; Juszczyk 2017). W szczeg\u00f3lno\u015bci opisuj\u0119 relacje pomi\u0119dzy znaczeniem a sposobami jego wyra\u017cania za pomoc\u0105 s\u0142owa, gestu, mimiki i innych modalno\u015bci.<\/p>\n
W czerwcu 2017 podj\u0105\u0142em wsp\u00f3\u0142prac\u0119 z j\u0119zykoznawcami z Politechniki Wroc\u0142awskiej i neuropsychologami z LOBI przy PAN w projekcie badawczo-rozwojowym SENTIMENTI. Celem projektu jest stworzenie aplikacji do rozpoznawania emocji w tek\u015bcie pisanym. B\u0119dzie to pierwsza na \u015bwiecie aplikacja analizuj\u0105ca s\u0142owa w j\u0119zyku polskim, a w przysz\u0142o\u015bci tak\u017ce innych j\u0119zykach, pod k\u0105tem emocji odbieranych przez czytelnik\u00f3w tekstu. Prace s\u0105 oparte na wcze\u015bniej prowadzonych badaniach neuropsycholog\u00f3w z\u00a0Laboratorium Obrazowania M\u00f3zgu przy PAN w Warszawie, w kt\u00f3rych bra\u0142o udzia\u0142 kilkaset uczestnik\u00f3w. Opracowana metoda gromadzenia danych o\u00a0reakcjach emocjonalnych jest \u0142\u0105czona z narz\u0119dziami przetwarzania j\u0119zyka naturalnego stworzone w konsorcjum CLARIN. Aplikacja b\u0119dzie s\u0142u\u017cy\u0142a do monitoringu medi\u00f3w w internecie.<\/p>\n","protected":false},"excerpt":{"rendered":"
Multimodalno\u015b\u0107 komunikacji mi\u0119dzyludzkiej zajmuje mnie od kilkunastu lat, a\u00a0dzi\u0119ki pracom badawczym w dziesi\u0119ciu projektach naukowych prowadz\u0119 badania naukowe we wsp\u00f3\u0142pracy z wieloma naukowcami w Polsce i na \u015bwiecie. Wsp\u00f3lnie z nimi opublikowa\u0142em kilkana\u015bcie artyku\u0142\u00f3w i tom\u00f3w (wykaz w za\u0142. 2) oraz uczestniczy\u0142em w prawie 50 mi\u0119dzynarodowych konferencjach i seminariach naukowych. Jestem cz\u0142onkiem grupy badawczej DIAGEST […]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":[],"_links":{"self":[{"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=\/wp\/v2\/pages\/41"}],"collection":[{"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=\/wp\/v2\/pages"}],"about":[{"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=41"}],"version-history":[{"count":2,"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=\/wp\/v2\/pages\/41\/revisions"}],"predecessor-version":[{"id":43,"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=\/wp\/v2\/pages\/41\/revisions\/43"}],"wp:attachment":[{"href":"http:\/\/juszczyk.home.amu.edu.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=41"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}