Multimodalność komunikacji międzyludzkiej zajmuje mnie od kilkunastu lat, a dzięki pracom badawczym w dziesięciu projektach naukowych prowadzę badania naukowe we współpracy z wieloma naukowcami w Polsce i na świecie. Wspólnie z nimi opublikowałem kilkanaście artykułów i tomów (wykaz w zał. 2) oraz uczestniczyłem w prawie 50 międzynarodowych konferencjach i seminariach naukowych. Jestem członkiem grupy badawczej DIAGEST pod kierownictwem prof. dr. hab. Macieja Karpińskiego i pracownikiem Zakładu Psycholingwistyki, którego kierownikiem jest prof. dr hab. Nawoja Mikołajczak-Matyja, a założycielką – prof. dr hab. Piotra Łobacz. Kontakt z wymienionymi naukowcami zainspirował mnie do szukania odpowiedzi na pytanie o znaczenia zachowań komunikacyjnych, które obserwujemy u ludzi.

Pierwsze obserwacje poczyniłem jeszcze w trakcie studiów, kiedy rozpocząłem zbierać przykłady gier słownych w polskiej prasie i reklamie. Zainspirowały mnie badania Danuty Butler (która analizowała przykłady z polskiej prasy dwudziestolecia międzywojennego) oraz analizy języka reklamy (Bralczyk 1998; Zimny 2008). Korpus kilkuset gier słownych (paronomazji, kontaminacji i aliteracji z lat 2000-2003) posłużył mi jako materiał w pracy magisterskiej i w dwóch publikacjach o aspektach psycholingwistycznych gier. W grach słownych zaintrygowały mnie interakcje brzmień i znaczeń, które wyjaśniam za pomocą fonologii naturalnej i teorii amalgamatów pojęciowych oraz metafory pojęciowej.

Następnie w kolejnych projektach badawczych zainteresowały mnie różne formy dialogu: zadaniowy, dialog dziecka z komputerem (awatarą Marni), narracje i sesje coachingowe. Dialog zadaniowy charakteryzuje się szybkim tempem i dużym zaangażowaniem poznawczym uczestników, co wpływa na krótkie pauzy pomiędzy ich wypowiedziami i gwałtowne zmiany intonacji. Zadanie takie jak MapTask (wskazywanie drogi na różnych mapach) lub origami (składanie figur z kartek papieru) wymaga od prowadzącego rozmowę wydawania konkretnych poleceń i kontrolowania postępów rozmówcy wykonującego zadanie. Dialog dziecka z komputerem w procesie nauki czytania w języku angielskim realizowałem we współpracy z kilkoma szkołami podstawowymi w Poznaniu i udziałem kilkanaściorga dzieci, których rodzice zgodzili się na udział w badaniach i naukę z komputerem. Model procesu nauczania czytania oparłem na koncepcjach Wygotskiego, Brunera i Tomasello oraz teorii mediów Reeves i Nass. Wyniki badań prezentowałem na konferencji w Bostonie (Joint Attention 2009) i w publikacji (Juszczyk 2006). Doświadczenia zgromadzone podczas prac nad anotacją i analizą nagrań dialogów komunikacji międzyludzkiej oraz dziecka z komputerem przygotowały mnie do prowadzenia badań w dwóch projektach, które zaplanowałem samodzielnie i na które otrzymałem dofinansowanie z Narodowego Centrum Nauki i Fundacji na Rzecz Nauki Polskiej. Efektem projektów jest monografia poświęcona metaforze oraz aplikacja komputerowa do analizy ruchów rąk KINEMO. Monografia ma na celu przedstawienie modeli i badań metafory w komunikacji międzyludzkiej.

Prowadzę także badania rozwojowe w ramach językoznawstwa komputerowego i komputacyjnego. Rozwijam programy do rozpoznawania emocji w geście i słowie. Automatyzacja anotacji ruchów rąk z wykorzystaniem czujników ruchu to projekt z zakresu badań rozwojowych. Aplikacja identyfikująca i klasyfikująca ruchy rąk KINEMO znajdzie zastosowanie wśród psychologów, psychiatrów, trenerów wystąpień publicznych oraz coachów czy doradców zawodowych. Aplikacja została oparta na systemie kodowania ruchów rąk NEUROGES, który umożliwia powiązanie cech zachowania w komunikacji z cechami osobowości oraz niektórymi zaburzeniami psychicznymi. Aplikacja w wersji demonstracyjnej została już zaprezentowana na III finale konkursu FNP/INTER w Warszawie. Wcześniej została wyróżniona pierwszą nagrodą w konkursie Fundacji na Rzecz Nauki INTER2013 za popularyzację nauki i projekt badań interdyscyplinarnych. Aplikacja umożliwia eksport danych z anotacji automatycznych do kilku formatów i programów: ELAN, THEME, EXCEL. Anotacje po poprawkach w programie ELAN są analizowane w programie THEME do zaawansowanych badań statystycznych. Aplikacja powstała we współpracy z informatykiem mgr Kamilem Ciecierskim. Przykładowym zastosowaniem aplikacji jest analiza zachowania podczas sesji coachingowej lub psychoterapeutycznej. Sesja jest dialogiem prowadzonym przez coacha lub psychoterapeutę z klientem lub pacjentem i może zostać zarejestrowana przez kamery w czujniku ruchu MS Kinect. Analiza jakościowa nagrania pozwala wykryć ruch rąk i określić ich parametry. Analiza ilościowa określa stan emocjonalny obu uczestników, przebieg procesów poznawczych i ich interakcję podczas sesji. Wyniki analiz są porównywane z badaniami nad neuropsychologią komunikacji i diagnozą zaburzeń psychicznych takich jak depresja czy aleksytymia. Inne zastosowania to przyporządkowanie do typów osobowości, weryfikacja tożsamości, rozwijanie umiejętności miękkich (wystąpienia publiczne, negocjacje i mediacje). Interpretacja anotacji automatycznych jest oparta na badaniach neuropsychologicznych i systemie kodowania ruchów rąk NEUROGES. Testy oprogramowania wykazały wysoką skuteczność rozpoznawania poszczególnych typów ruchów rąk (F-score=0,6). Aplikacja jest rozwijana we współpracy z Politechniką Poznańską i prof. Heddą Lausberg z Kolonii oraz szkolonymi przez nią anotatorów. Nagrania testowe były realizowane w Dundee i Poznaniu przy współpracy ze studentami i certyfikowanymi coachami International Coaching Federation. Aplikacja była prezentowana w Paryżu, Nantes i w Poznaniu oraz w Warszawie. Zebraliśmy pozytywne opinie i podjęliśmy współpracę z badaczami z Wielkiej Brytanii i Niemiec, którzy planują wykorzystać aplikację w swoich badaniach.

Publikuję także rozważania z zakresu komunikologii dotyczące modelowania multimodalności w komunikacji międzyludzkiej (Juszczyk 2008; Juszczyk 2011; Konat I Juszczyk 2016; Juszczyk 2017). W szczególności opisuję relacje pomiędzy znaczeniem a sposobami jego wyrażania za pomocą słowa, gestu, mimiki i innych modalności.

W czerwcu 2017 podjąłem współpracę z językoznawcami z Politechniki Wrocławskiej i neuropsychologami z LOBI przy PAN w projekcie badawczo-rozwojowym SENTIMENTI. Celem projektu jest stworzenie aplikacji do rozpoznawania emocji w tekście pisanym. Będzie to pierwsza na świecie aplikacja analizująca słowa w języku polskim, a w przyszłości także innych językach, pod kątem emocji odbieranych przez czytelników tekstu. Prace są oparte na wcześniej prowadzonych badaniach neuropsychologów z Laboratorium Obrazowania Mózgu przy PAN w Warszawie, w których brało udział kilkaset uczestników. Opracowana metoda gromadzenia danych o reakcjach emocjonalnych jest łączona z narzędziami przetwarzania języka naturalnego stworzone w konsorcjum CLARIN. Aplikacja będzie służyła do monitoringu mediów w internecie.