• 4 IIT@UNIFE © 2016 IIT 4851
  • 1 IIT@UNIFE © 2016 IIT 4847
  • 8 IIT@UNIFE © 2016 IIT 4855
  • 2 IIT@UNIFE © 2016 IIT 4849
  • 7 IIT@UNIFE © 2016 IIT 4854

La linea Multiscale Brain Communication studia i meccanismi neurali responsabili della nostra capacita di comunicare con gli altri. Tale studio è centrale allo sviluppo di nuovi sistemi di interfaccia con il cervello, concepiti specificamente per uso umano, per registrare e decodificare i segnali nervosi.

Per raggiungere questo obiettivo studiamo come il cervello elabora e comprende le azioni comunicative degli altri allo scopo di decodificare in maniera efficiente i segnali nervosi correlati alle intenzioni comunicative. Applichiamo tecnologie innovative e biologicamente compatibili, al problema del riconoscimento automatico del linguaggio e delle azioni (Speech and Communication Team) e progettiamo e realizziamo una nuova generazione di dispositivi cerebrali caratterizzati da ridotta invasività, migliore risoluzione e sensibilità e capaci di registrare e stimolare le strutture nervose (Neurotechnologies Team).

In conclusione, ponendo una particolare attenzione sull’utilizzo di metodiche di neurofisiologia traslazionale (registrazione intracorticale, Micro-ECoG, fMRI, EEG, TMS), l’obiettivo della nostra ricerca è di accrescere la conoscenza sul funzionamento del cervello per permettere lo sviluppo di interfacce uomo-computer di futura generazione. Le attività del gruppo spaziano dalla ricerca di base a quella applicata, attraverso tre principali linee di studio:

  • Progettazione e fabbricazione di interfacce neurali stabili e durature con un elevato rapporto segnale-rumore e alta risoluzione spazio-temporale;
  • Ricerca sui centri e circuiti cerebrali necessari alla produzione e alla comprensione delle azioni e del linguaggio;
  • Ricerca di metodi innovativi per il riconoscimento automatico del linguaggio a partire da segnali multimodali (ad es. audio e video).

Fondamentali per il nostro lavoro sono le collaborazioni con altri laboratori nazionali e internazionali e con l’Unità complessa di Neurochirurgia dell’ospedale di Udine diretta da Miran Skrap e con cui è in atto una specifica convenzione.

Attività di Ricerca

(F. Biscarini, M. Murgia, M. Bianchi, S. Carli, F. Ciarpella, E. Zucchini, E. Delfino, L. Fadiga)

La trasmissione ed elaborazione dei segnali nel cervello coinvolge potenziali elettrochimici, correnti ionici e segnali molecolari. Per accedere a questi segnali, occorrono quindi tecnologie e dispositivi sensibili ad essi, come microelettrodi, capaci di misurare variazioni di potenziale, o transistor organici, che possano interagire con ioni e amplificare minuscole variazioni di potenziale in grandi variazioni di corrente nel dispositivo. Stiamo quindi sviluppando il disegno e la fabbricazione di matrici di microelettrodi e di transistor organici per impianti neurali anche a lungo termine, con lo scopo di registrare segnali dal cervello, stimolarne l’attività e supportare la funzionalità. Questi impianti sono disegnati sia per esperimenti con modelli animali sia per l’uomo. Le direzioni di sviluppo sono su matrici su supporto flessibile comprendenti: i) dispositivi tutto-organico; ii) microelettrodi (MEAs). Dovendo utilizzare diversi materiali polimerici integrati nel dispositivo, è importante approfondire gli aspetti legati alla biocompatibilità del dispositivo, valutare la risposta del sistema immunitario dell’organismo e quantificare l’efficacia nel lungo termine, l’affidabilità e la robustezza, in vitro e in vivo.

Il gruppo multidisciplinare di neurotecnologie è dedicato allo sviluppo e applicazione di nuove interfacce nervose. Include ricercatori con esperienza in elettronica organica, nanotecnologie, scienza dei materiali, biotecnologie e neurofisiologia. L’attività sperimentale è svolta nei laboratori di nanochimica, elettronica organica, microscopia, colture cellulari, istologia, neurofisiologia. Il gruppo ha accesso alla facility di sperimentazione animale.

Fig2

In particolare, stiamo sviluppando:

1) nuovi dispositivi bioelettronici organici, a base di a) polimeri conduttivi per elettrodi, ottenuti per elettrodeposizione su templati, o per ablazione laser a scansione di film sottili, e b) semiconduttori molecolari e polimerici. Quest’attività coinvolge la collaborazione con del Laboratorio di Elettronica Organica (LEO) di UNIMORE. I substrati di interesse sono fatti da film polimerici biocompatibili e biodegradabili. I transistor organici possono sostituire i MEA in alcune applicazioni, con il vantaggio di potere amplificare il segnale in prossimità del sito di misurazione. Altre architetture che stiamo sviluppando servono a controllare il rilascio di stimoli chimici, come farmaci e fattori trofici, utilizzando un controllo ambientale o impulsi di potenziale o luminosi.

2) matrici di microelettrodi costituiti da materiali soffici e flessibili, per impianti intra- ed epi-corticali. Hanno bassa impedenza, elevate capacità di trasferimento di carica e biocompatibilità. Vengono realizzati mantenendo un’elevata area superficiale e ricoperti con idrogel. In parallelo, stiamo sviluppando tecniche per integrare dispositivi bio-ibridi nel tessuto cerebrale, usando cellule autologhe dell’organismo ospite. La risposta del sistema immunitario all’impianto acuto e cronico è valutata attraverso saggi di biocompatibilità in vitro e in vivo, con tecniche di immunofluorescenza, assieme a validazione delle prestazioni del dispositivo nel tempo

Pubblicazioni d'interesse

  • Di Lauro M., Benaglia S., Berto M., Bortolotti C. A., Zoli M., Biscarini F. (2018). Exploiting interfacial phenomena in organic bioelectronics: Conformable devices for bidirectional communication with living systems. Colloids Surf B Biointerfaces, 168:143-147.
  • Carli S., Trapella C., Armirotti A., Fantinati A., Ottonello G., Scarpellini A., Prato M., Fadiga L., Ricci D. (2018). Biochemically Controlled Release of Dexamethasone Covalently Bound to PEDOT. Chem. Eur. J., DOI: 10.1002/chem.201801499
  • Vomero M., Castagnola E., Ciarpella F., Maggiolini E., Goshi N., Zucchini E., Carli S., Fadiga L., Kassegne S., Ricci D. (2017). Highly Stable Glassy Carbon Interfaces for Long-Term Neural Stimulation and Low-Noise Recording of Brain Activity.Sci Rep, 7, 40332.
  • Kosugi A., Takemi M., Tia B., Castagnola E., Ansaldo A., Sato K., Awiszus F., Seki K., Ricci D., Fadiga L., Iriki A., Ushiba J. (2018). Accurate motor mapping in awake common marmosets using micro-electrocorticographical stimulation and stochastic threshold estimation. J Neural Eng, 15(3), 036019.
  • Di Lauro M., Berto M., Giordani S., Benaglia G., Schweicher D., Vuillaume C. A., Bortolotti Y. H., Geerts F., Biscarini F. (2017) Liquid‐Gated Organic Electronic Devices Based on High‐Performance Solution‐Processed Molecular Semiconductor. Adv Electron Mater, 3(9), 1700159.
  • Giordani M., Berto M., Di Lauro M., Bortolotti C. A., Zoli M., Biscarini F. (2017). Specific Dopamine Sensing Based on Short-Term Plasticity Behavior of a Whole Organic Artificial Synapse. ACS Sensors, 2, 1756–1760.

 

(L. Badino, P. Cardellicchio, A. Casile, A. D’Ausilio, L. Fadiga, M. Galluccio, P.M. Hilt, M. Marini, S. Mukherjee, L. Pasa, T. Pozzo, R. Tavarone, A. Tomassini, R. Turrisi, R. Viaro)

L’interazione sociale, durante lo sviluppo infantile e nel corso della vita, gioca un ruolo centrale nel plasmare le nostre capacità cognitive. L’efficacia di tale interazione necessita la capacità di inviare e ricevere informazioni tra gli individui. In questo senso, i singoli individui possono essere concettualizzati come unità computazionali, immerse in un sistema complesso di altri individui e relazioni, e specializzate nell’interpretazione di specifici messaggi sociali. Questa fondamentale capacità, che quindi permette l’emergere della cognizione, è basata sulla funzione di uno specifico circuito neurale in grado di decodificare messaggi verbali e non verbali, in modo veloce ed automatico, durante l’interazione.

Lo Speech and Communication Team conduce ricerche su questi aspetti utilizzando un approccio fortemente multidisciplinare influenzato dalle neuroscienze, la psicologia, l’informatica e l’ingegneria, e sfruttando un mix di metodiche all’avanguardia nei campi della neurofisiologia (Micro-Electrocorticography, Single unit Recordings, Micro-Stimulation, Electroencephalography and Transcranial Magnetic Stimulation), delle scienze comportamentali (Eye-tracking, Body Motion Capture) e dei metodi computazionali (Machine Learning, Multivariate Analyses, Nonlinear Data Analyses).

Fig1

In modo specifico, conduciamo ricerche sui meccanismi cerebrali che, nella vita di tutti i giorni, ci permettono di comprendere ed usare la comunicazione verbale (Speech Perception Network) e non verbale (Action Perception Network, Syntax of Action). In parallelo, progettiamo sistemi computazionali in grado di comprendere le interazioni verbali (Automatic Speech Recognition) e non verbali (Non-verbal Sensorimotor Communication) con prestazioni simili a quelle umane.

Sviluppiamo sistemi bio-ispirati di ASR audio e audio-video che, a partire dai risultati neurofisiologici prodotti dal nostro gruppo, mettono al centro del processo di decodifica automatica del parlato una conoscenza motoria di come i suoni del linguaggio vengono articolati. I nostri sistemi di ASR sono progettati per essere efficaci in contesti complessi come il riconoscimento del parlato a distanza, in presenza di molti parlanti (effetto “cocktail party”) o per pazienti affetti da disturbi del linguaggio e dell’articolazione. Allo stato attuale alcuni dei nostri sistemi sono integrati su piattaforme robotiche (iCub ed R1) e in applicazioni mobili per particolari categorie di pazienti (ALLSpeak and ECOMODE-Facilitator).

Lo scopo del Neurophysiology of Speech and Communication Team è di progredire nella ricerca sui meccanismi fondamentali di come il cervello permetta di interagire socialmente in modo efficace al fine di progettare sistemi automatici ad esso ispirati

Pubblicazioni d'interesse

  • Badino L., Canevari C., Fadiga L., Metta G. (2016). Integrating articulatory data in deep neural network-based acoustic modelling. Computer Speech and Language, vol. 36, pp. 173-195.
  • Badino L. (2016). Phonetic context embeddings for DNN-HMM phone recognition. Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH, 2016, pp. 405-409.
  • Badino L., Canevari C., Fadiga L., Metta G. (2014). An auto-encoder based approach to unsupervised learning of subword units. ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, pp. 7634-7638
  • Hilt P., Bartoli E., Ferrari E., Jacono M., Fadiga L., D’Ausilio A. (2017). Action observation effects reflect the modular organization of the human motor system. Cortex, 95, 104-118.
  • Volpe G., D’Ausilio A., Badino L., Camurri A., Fadiga L., (2016). Measuring social interaction in music ensembles. Phil Trans Roy Soc B, 371(1693), 20150377.
  • Bartoli E., D’Ausilio A., Berry J., Badino L., Bever T., Fadiga L. (2015). Listener-speaker perceived distance predicts the degree of motor contribution to speech perception. Cereb Cortex, 25(2), 281-288.

 

Laboratori

La linea ospita moderni laboratori e attrezzature per la registrazione del movimento, la neurofisiologia, l’istologia, le colture cellulari e  la scienza dei materiali.

  • Stimolazione magnetica transcranica neuronavigata, Elettroencefalografia ad alta densità, registrazione dei movimenti oculari, registrazione optoelettronica del movimento corporeo, articulografia elettromagnetica
  • Stimolazione e registrazione nervosa multicanale, anche wireless, microscopia a fluorescenza di neuroni, microtomia per sezioni istologiche, laboratorio per estrazione e coltivazione di cellule primarie.
  • Caratterizzazione elettrochimica, spettroscopia d’impedenza, caratterizzazione elettrica di materiali e dispositivi, microscopia a scansione di sonda, microscopia ottica ad alta risoluzione, angolo di contatto, profilometria.
  • Deposizione, patterning e caratterizzazione di materiali multifunzionali e dispositivi elettronici organici: sistema in alto vuoto con due camera per deposizione di metalli e organici per sublimazione; doppia glove box in atmosfera inerte per processi di deposizione di film sottili organici, con caratterizzazione elettrica;  deposizione per immersione verticale; elettrodeposizione.

Video

Collaborazioni

  • Translational Neurophysiology on Humans – Miran Skrap - Neurochirurgia, Ospedale di Udine
  • Ultraflexible electrode arrays - Guglielmo Fortunato – CNR-IMM – Roma
  • Polyimide Based Ultraconformable arrays- Thomas Stieglitz - Laboratory for Biomedical Microtechnology, Department of Microsystems Engineering - IMTEK, University of Freiburg, Germany-
  • Glassy carbon electrode arrays - Sam Kassegne - San Diego State University - USA
  • Marmoset motor cortex mapping – Atsushi Iriki – RIKEN Brain Science Institute – Saitama – Japan
  • Action perception and motor control - Thierry Pozzo – CTNSC@IIT and INSERM - U1093 Cognition, Action, and Sensorimotor Plasticity, Dijon, France
  • Motor intention understanding - Cristina Becchio – RBCS@IIT and Università di Torino, Italy
  • The shared syntax of action, music and language - Stefan Kölsch - University in Bergen, Norway
  • Computational investigation of action primitives - Yiannis Aloimonos - University of Maryland, USA
  • The syntax of action, objects affordances and language - Katerina Pastra - Cognitive Systems Research Institute and Institute for Language and Speech Processing, Athens, Greece
  • Object affordances in humans and robots - Jose Santos-Victor - Instituto Superior Técnico, Institute of Systems and Robotics, Lisboa, Portugal
  • The motor system in speech and language perception - Friedemann Pulvermüller - Institut für Deutsche und Niederländische Philologie, Berlin, Germany
  • Automatic speech recognition for robotics- Giorgio Metta – iCub@IIT>
  • Articulatory automatic speech recognition and acoustic inversion – Raman Arora – Center for Language and Speech Processing, Johns Hopkins University
  • Machine learning techniques for automatic speech recognition – Massimiliano Pontil –Computational and Statistical Learning, IIT
  • Automatic speech recognition for dysarthric speech – Frank Rudzicz – University of Toronto
  • Goal-directed sensorimotor coordination in group interaction - Andrea Gaggioli and Giuseppe Riva – Università Cattolica di Milano and IRCCS Istituto Auxologico Italiano, Milano, Italy
  • Sensorimotor signaling - Giovanni Pezzulo - Institute of Cognitive Sciences and Technologies (ISTC-CNR), Roma
  • Sensorimotor entrainment to musical ensembles - Gualtiero Volpe and Antonio Camurri – University of Genova
  • Complex social interaction in musical ensembles - Peter Keller - University of Western Sydney, Australia
  • Impedance spectroscopy and device characterization-Henrique L. Gomes- Electronic Engineering-Universidade do Algarve, Faro, Portugal.
  • Analysis of signals and molecular modelling- Francesco Zerbetto- Alma Mater Università di Bologna
  • Organic electronics biosensors – Carlo Augusto Bortolotti – Università di Modena e Reggio Emilia, Modena.