如果冒用特定人士的聲音、容貌或發言，足以讓一般民眾誤認為是本人親自發表的言論，就必須承擔法律責任，並不屬於言論自由的保障範疇。
根據法律專家的分析與實務案例，此類行為主要涉及以下法律責任：
刑事責任
偽造私文書罪：依 刑法第220條 規定，具備表達與證明功能的錄音、錄影或電磁紀錄「以文書論」。未經同意用 AI 偽造、變造特定人的影音，使人誤信為本人發表，涉嫌觸犯 刑法第210條 偽造私文書罪。
加重誹謗罪：若利用變造的聲音讓賴總統「說出」未曾發言的內容，且該內容足以損害總統的名譽、人格或社會評價，將構成 刑法第310條第2項 的意圖散布文字、圖畫、影像加重誹謗罪。
詐欺罪 / 意圖使人不當選：
若變造影音是為了騙取財物（如過去常見的冒用名人的 AI 假投資廣告），涉及詐欺罪。
若是在選舉期間內，意圖使特定候選人當選或不當選而散布深偽影音，則會觸犯 公職人員選舉罷免法第104條之1，可處 7 年以下有期徒刑。
民事與個資責任
人格權與肖像權侵害：依 民法第184條及第195條，「聲紋」與容貌皆屬人格權的一部份。故意用 AI 仿冒他人聲音致其受損，當事人可求償精神慰撫金並要求除去侵害。
違反個人資料保護法：聲紋屬於受法律保護的特徵個資，未經授權蒐集、重組並惡意利用，亦違反 個資法第20條 的利用限制。