當AI開始「理解」情感，我們又將面對什麼挑戰？

2014年第86屆奧斯卡頒獎典禮上，一部名為《Her（她）》的電影力壓大衛·O·拉塞爾《美國騙局》與伍迪·艾倫的《藍色茉莉》，斬獲了當年的最佳原創劇本獎。該影片講述了一個孤獨的作家逐漸愛上了自己手機裡的AI語音助手的故事，這個由斯嘉麗·約翰遜飾演的AI——Samantha，也憑藉其沙啞性感的嗓音、風趣幽默的性格與善解人意的體貼征服了無數觀眾的心。

而在10年後，在OpenAI的2024新品發表會上，電影中的想像伴隨著GPT-4o大模型的發表而有了照進現實的蹤跡。這款「全能（omni）」的大模型不僅具備了先前GPT3.5所望塵莫及的高效文字、音訊和影像的處理能力，同時，其還具備了透過攝影機等其他感測器收集周圍聲音、影像訊息，並分析、理解人類情緒，且透過運算進行溝通、給予建議的能力。

然而，正如我們一直所重申的那樣，新技術的誕生往往伴隨著新的挑戰。 AI情感辨識技術在帶來便利與創新的同時，也可能引發一系列道德與法律層面的風險。因此，今天我們將從以上角度深入分析，看看GPT-4o這位即將走入我們生活的“Her”，究竟又將為我們帶來什麼挑戰。

01 AI情感辨識技術有何不同？

一直以來，情感計算技術都是AI研發者的一項重要追求，所謂「情感計算」是關於人類情感產生、情感識別、情感表示以及影響情感因素度量等方面的計算科學，它利用電腦技術實現了資訊載體(如生理特徵、文本中的詞彙、聲音、視頻圖像等)與人類情感的極性傾向(褒義、貶義或中性)以及強度之間的關係度量，從而促進了情感計算科學的正式誕生,並推動了機器人與機器視覺、人工互動設計、語音辨識和文字分析等領域的發展。 

簡而言之，即是一種透過機器學習和大數據技術對人類情感進行識別和分析的技術，AI情感識別系統透過分析文本、語音、視訊等多種數據類型，識別和理解人的情緒狀態，在智慧客服、教育、健康監測等領域有廣泛的應用空間。

而本次，GPT-4o所達到的技術高度尚不足以稱為完全意義上的“AI情感識別”，嚴格地講，其仍然是通過GenAI傳統的深度學習方式，通過大量數據的訓練，達到了對一些場景的基礎識別。但即便如此，GPT-4o仍在「理解」人類的方面邁出了重要的一步，相較於當前的其他AIGC產品，GPT-4o已經能夠與用戶進行相對較為自然的交流溝通，並伴隨著現實世界中的一些傾向，如打斷、理解語氣，甚至能夠根據使用者的反應意識到自己給予建議的正確與否。

在OpenAI發布會的演示環節中我們可以看到，主持人要求GPT-4o對他的呼吸技巧做出反饋，其對著手機進行了深呼吸，並被GPT詼諧地調侃為：“你不是吸塵器。”這種富有「幽默感」的回應，顯然已經超越了我們傳統理解中AIGC較為生硬刻板的訓練成果。

此外，GPT-4o將可以根據不同的情況改變其回應的語氣，更為重要的是，在其傳達「思想」的過程中首次出現了不同的語調，這意味著GPT-4o在一定程度上已經可以像人類之間進行對話一樣，「理解」自己要表達的內容，並對使用者可能的回應有較合理的預期。因而，拋開實現這一成果的方式在技術層面上是否跳脫了傳統GenAI學習方式的框架，能夠達到這種程度的AI情感識別，依舊令人感到驚喜。

02 AI情感識別將帶來哪些風險？

1. 資料安全

首當其衝的依舊是AIGC老生常談的資料安全問題。情感識別系統的存在是建立在對大量資料處理的基礎上的，這意味著服務提供者的資料保護責任也相應地加重，除了傳統的資料儲存安全性外，其獲取資料的價值越高，也就越會遭受駭客等不法行為的覬覦。由於AI情感識別的技術應用會深度滲透進用戶的日常生活當中，一旦資料洩露，不僅會造成經濟損失，還可能引發社會信任的危機。

2. 隱私權侵害

顯然，要實現如GPT-4o的AI情感辨識技術，是需要大量的個人資料來支援訓練和運作。這些包括語音、視訊、文字等在內的資料往往包含使用者的個人訊息，除具有識別性的外觀資訊之外，更可能包含諸如情緒狀態、心理健康狀況等涉及個人隱私的資訊。因此，資料安全問題不僅涉及單純的個人資訊問題，更可能導致個人隱私的洩露，侵犯使用者的隱私權。

3. 歧視和偏見

由於現階段情感識別的實現依賴於AIGC技術的基礎，因而演算法歧視問題仍舊是相關服務提供者跨不過去的「一道坎」。如果訓練資料存在偏見，系統即可能會表現出對特定群體的歧視。例如，當訓練資料主要來自某一特定性別、種族或年齡段，系統可能對這些群體以外的人群識別不準確，甚至產生誤判。而諸如GPT-4o的應用，顯然是面向社會不特定主體的。如何能夠避免這種情況，確保訓練資料的多樣性和代表性，並在AI演算法設計中引入公平性考慮，是研發者必須深入研究的課題。

4. 情感操控

嚴格意義上講，情感操控並非是法律層面的風險，而是在道德層面對AI情感識別這種前沿技術的倫理要求。一旦情緒辨識技術廣泛應用，基於其辨識使用者情緒狀態，並精準進行客製化研判的特性，其將可用於商業行銷、陪伴陪護等生活中的重要場景。然而，這種做法一旦遭到濫用，就將可能導致對使用者的情感操控。例如，透過分析使用者情緒狀態，投放能引發負面情緒的廣告，進而增加消費慾望。這種操控行為不僅不道德，還可能對使用者心理健康造成負面影響。

03 如何應對AI情感識別的風險？

首先，政策與法律架構完整的改善必須未雨綢繆。科技的變化日新月異，對具有滯後性的立法提出了挑戰。因此，相關機構更需要對科技可能產生的社會影響有所預估。一方面，由立法機關加快《資料安全法》《個人資訊保護法》等法律法規的解釋和完善；另一方面，在法律尚不健全的情況下也有必要依托政策性文件，在相關領域內率先明確情感辨識技術的使用規範。

其次，相關人工智慧服務提供企業需要提高自身的合規和管理意識。 AI情感辨識技術有著廣泛的應用前景，將可能為許多產業帶來全新的產業變革。然而，這一切都是建立在企業嚴格遵守相關法律法規，盡到應盡的合規義務，採取必要的資料保護措施，建立健全內外資料管理規程的基礎上的。在情緒辨識系統的開發和應用中，企業有必要注重演算法的公平性，確保訓練資料的多樣性和代表性，並避免系統對特定群體產生歧視。同時，企業有必要加強資料安全審計，及時發現並處理潛在的安全風險；提高系統的透明性，並明確告知使用者情感辨識演算法可能存在的誤導性風險。

最後，整個產業在引進AI情緒辨識技術時，都應充分考慮其對使用者和員工可能造成的心理健康層面的影響。由於目前技術的開發和應用都仍處於較為初級的階段，AI對於使用者可能造成影響也暫不明確。因而，服務提供者有必要做好提供心理健康服務的計畫。例如，提供心理健康支援服務，定期進行心理健康評估，確保情緒辨識技術的應用不會對使用者和員工的心理健康造成損害等。

04 寫在最後

在GPT-4o為我們帶來AI情感辨識技術令人欣喜的發展的同時，其可能引發的法律和倫理道德風險依舊不容忽視。企業和政府應共同努力，透過完善法律法規、加強資料保護、確保系統公平性和透明性、重視使用者知情同意和心理健康保護等措施，積極應對這些風險，確保情感識別技術的安全、合法和道德應用。只有在有效管理和控制這些風險的前提下，情感識別技術才能真正發揮其積極作用，推動社會進步和人類福祉。

以上是今天的分享，感恩讀者！