實驗室簡介

歡迎光臨『多媒體人機通訊實驗室 』。 本實驗室針對文字、聲音及影像視訊等多媒體資料進行相關的研究,發展出具實用性質之技術如:多媒體情感運算、語音辨識、 語音合成、口語對話系統以及自然語言處理等技術。除了基礎理論的研究外,本實驗室亦著重於應用技術之開發。

  1. 人工智慧與深度學習
  2. 多媒體情感運算
  3. 強健性語音辨識
  4. 語音合成及轉換
  5. 自然語言處理與語意分析
  6. 智慧型對話機器人

實驗室位址: 701 台南市大學路1號 國立成功大學 成功校區  資訊系大樓8樓65801室



  1. 多媒體情感運算

    在人與機器互動的過程裡加入情感的因素將可以增進人機互動的樂趣,亦可以提升人機互動的成效。 本研究方向針對語音視覺情緒辨識技術來進行研究,期望藉由使用者的語音與臉部表情,來識別使用者目前之情緒,以增進人機互動過程中的豐富度。 此技術亦可應用於情感性疾患(憂鬱症、躁鬱症)之偵測。

    完成系統:情緒辨識系統



    完成系統:情感性疾患(憂鬱症、躁鬱症)偵測系統


  2. 語音合成及轉換

    電腦越來越像人類一般具有高度智慧和互動溝通的能力。在這些對話系統之中,語音合成系統扮演了一個舉足輕重的角色。未來在作為人機介面的最直覺的互動方式之下,要能夠讓使用者感到與機器對話是不生疏且具有最直接的便利性的需求之下,合成語音表達性及具有特定語者的聲音特性,將是不可或缺的兩大未來研究之主題。

    完成系統:中文語音合成系統


  3. 強健性語音辨識

    近年來,電腦科技日益發展,在加上網路的普及、行動裝置迅速的推陳出新,透過語音互動的結合,更增加了使用上的方便性,使得語音辨識系統可以跟隨著使用者做更貼身的應用,讓使用者脫離固定式電腦的限制。本研究方向著重於強健性語音辨識技術。利用KALDI建立隱藏式馬可夫模型(HMM)之語音辨識系統。其中應用巨量資料及深度學習技術,強化語音辨識之效能。

    完成系統:任意語句語音辨識系統


  4. 自然語言處理與語意分析

    本研究方向提出一描述文句語意及語法結構,對文句建立較為精確的語意資訊,以提供語意理解或資訊檢索。當使用者提出問句時,本研究之系統利用模式匹配和語句相似度的技術,尋找出語料庫中最適合使用者問句之答案。系統會透過主題模型和問答語意相依配對模型來幫助系統從大量的非結構化的文件中擷取出適合的答案,並回應給使用者。

    完成系統: 負向情緒諮詢系統


  5. 智慧型對話機器人(Chatbot)

    人機介面在日常生活中扮演日益重要的角色,這促使了越來越多的研究人員投入人機互動研究領域,其中,對話系統是人機互動研究領域當中被廣泛探討的議題之一。在國際上Google (Google Now)、Facebook (Messenger)、Apple (Siri)、微軟(Cortana) 及亞馬遜(Echo)等科技鉅子已陸續開發出聊天機器人。雖然針對對話系統已進行了諸多研究,系統對於使用者往往只能作出單調的回應,為了達到更人性化互動的目的,系統應該採取靈活多變的對話回應。因此,本實驗室研究如何去了解使用者在對話過程中展現的意圖、情感及社交互動風格,對於實現和諧的人機互動是一個重要且創新的研究方向。

    完成系統:社交對話訓練系統





  Top