聊天機器人尚未準備就緒，卻已逐漸成為心理健康工具

您好，歡迎收看 Eye on AI。我是 Beatrice Nolan，今天代替 Jeremy Kahn 主持。本期內容：使用 AI 聊天機器人進行心理健康諮詢的風險…Amazon 的 AI 使用指標適得其反…Thinking Machines Lab 正在打造一款具備協作能力的 AI…AI 開始協助駭客尋找軟體漏洞。

數百萬人正轉向 AI 聊天機器人尋求情感支持，但這些模型真的足夠安全，能幫助患有焦慮、孤獨、飲食失調，或有不願對他人說出口的陰暗想法的用戶嗎？

根據臨床心理學家創立的公司 mpathic 與 Fortune 分享的最新研究，答案是否定的。他們發現，領先的模型仍在心理治療最重要的一環上掙扎，即知道用戶何時需要反駁而非安慰。雖然這些模型通常善於發現明確的危機聲明，如直接的自殺威脅，但當風險間接出現時，例如透過對食物、節食、退縮、絕望的微妙評論，或在對話過程中變得越來越極端的信念，它們的可靠性就較低。

如果一個模型在用戶出現令人擔憂的行為模式時仍安撫他們，或驗證其妄想，可能會延誤用戶獲得真正的幫助，或悄悄使情況惡化。

當你考慮到以下數據時，這令人擔憂：根據專注於國家健康政策的非營利組織 KFF 的近期調查，在過去一年中，16% 的美國成年人使用過 AI 聊天機器人獲取心理健康資訊。在 30 歲以下的成年人中，這一比例增加到 28%。聊天機器人在心理治療中的使用在青少年和年輕成年人中也很普遍。例如，來自 RAND、Brown 和 Harvard 的研究人員發現，大約八分之一 12 至 21 歲的人使用過 AI 聊天機器人獲取心理健康建議，且超過 93% 的用戶認為這些建議有幫助。

很容易理解為什麼人們，尤其是年輕成年人，會轉向聊天機器人尋求這類支持。孤獨和焦慮可能正在增加，但在全國大部分地區，心理健康支持仍受到社會污名化、價格昂貴且難以獲取。轉向 AI 聊天機器人尋求支持不僅免費，而且感覺像是一個匿名、更簡單的選擇。

模型錯過了什麼

該公司的研究發現，有害的回應通常是微妙的，模型聽起來平靜且支持，同時卻仍在削弱用戶的判斷力。這尤其相關，因為人們經常在脆弱或痛苦的時刻轉向聊天機器人。

心理健康與錯誤資訊經常重疊。一個正在悲痛的用戶可能會變得更容易受到魔幻思維的影響，而如果模型將每個懷疑都視為同等有效，已經傾向陰謀論的人可能會被推向更深的陰謀論中。

mpathic 首席科學官兼執業心理學家 Alison Cerezo 告訴 Fortune，部分原因是模型被設計為提供幫助，但「有時這些有幫助的行為可能無法對用戶在對話中提出的內容做出適當的回應。」

已經有現實世界的例子顯示，用戶被 AI 聊天機器人推向妄想螺旋，造成嚴重的心理健康後果。在一個案例中，47 歲的 Allan Brooks 在確信自己發現了一種能破壞網路並實現懸浮光束等發明的新數學原理後，花了三週時間和超過 300 小時與 ChatGPT 交談。Brooks 告訴 Fortune，他反覆要求聊天機器人幫他確認現實，但聊天機器人不斷向他保證他的信念是真實的。

在 Brooks 的案例中，他部分是 OpenAI 臭名昭著的諂媚 4o 模型的受害者。雖然所有 AI 聊天機器人都有過度奉承、驗證或同意用戶的傾向，但 OpenAI 最終不得不在 2025 年 4 月回滾 GPT-4o 更新，因為承認該模型變得「過度奉承或順從」。該公司後來完全退役了 GPT-4o 模型，這也引發了一些表示對其產生深厚依戀的用戶的反彈。

新的基準

作為研究的一部分，mpathic 開發了一個新基準，以評估 AI 模型如何處理涉及自殺風險、飲食失調和錯誤資訊的敏感對話，測試它們是否能檢測風險、做出適當回應，並避免強化有害信念。

在研究的錯誤資訊部分，mpathic 測試了六個主要 AI 模型的多輪對話，發現最常見的有害行為是強化，即模型在沒有足夠審查的情況下驗證或建立在用戶的信念上。這些模型在處理更微妙的飲食失調信號、間接的自殺風險跡象，以及用戶信念變得更加危險或扭曲的「線索」方面也表現不佳。

研究人員表示，這引發了對使用 AI 聊天機器人進行治療的擔憂，因為許多真實的心理健康對話並非以明確的危機聲明開始。例如，人們可能會用健康的語言談論節食，將陰謀論信念描述為好奇，或隨口提及退縮和絕望。Cerezo 告訴 Fortune，飲食失調對話尤其困難，因為有害行為可能包裹在關於自我提升、食物或健身的熟悉語言中。

她說：「有時模型真的很難理解那些更細微的差別，而臨床醫生可以察覺到。」

其他研究也發現了將 AI 用於治療目的的類似擔憂。Stanford 研究人員發現，一些 AI 治療聊天機器人對某些心理健康狀況表現出污名化，並可能在危機情境中給出危險的回應。Brown 研究人員的另一項研究發現，被提示像輔導員一樣行事的聊天機器人可能會透過強化錯誤信念、創造虛假的同理心以及處理危機情況不當來違反基本的心理健康倫理。

mpathic 創辦人兼執行長 Grin Lord 表示，該研究說明了為什麼 AI 實驗室需要超越與臨床醫生的廣泛諮詢，將他們直接帶入測試和改進模型的工作中。「這些模型就在這裡。它們在現實世界中。它們正在被使用，」她說。「所以讓臨床醫生參與進來，在部署時即時改進它們。」

隨著越來越多的人轉向 AI 尋求心理健康支持，使用安全過濾器阻擋風險變得越來越困難。真正的風險可能不總是聊天機器人給出明顯危險的建議，而只是過於順從、錯過一個小警告信號，或在有害思維變得更加嚴重之前未能中斷它。隨著聊天機器人成為尋求情感支持的人們更頻繁的第一站，僅僅提供支持的傾聽可能不再足夠。

接下來，是本週的 AI 新聞。

Beatrice Nolan

bea.nolan@fortune.com
@beafreyanolan

但在進入新聞之前：您想了解更多關於 AI 可能如何重塑您的產業嗎？您想聽取一些科技界最精明的高管的見解，並與矽谷及其他地區的一些最佳投資者、思想家和建設者交流嗎？您喜歡飛蠅釣或徒步旅行嗎？那麼，請來科羅拉多州阿斯彭加入我和其他 Fortune Tech 聯合主席，參加 Fortune Brainstorm Tech，這是年度最佳科技會議。今年將更加特別，因為我們將慶祝該會議成立 25 週年。我們將聽到來自 UPS 的 Carol Tomé、Snowflake 執行長 Sridhar Ramaswamy、Anduril 執行長 Brian Schimpf、Yahoo! 執行長 Jim Lanzone 等執行長們的演講。還有像 Boris Cherny 這樣的 AI 王牌，他在 Anthropic 領導 Claude Code，以及 Sara Hooker，她是 Adaption Labs 的聯合創辦人兼執行長。還有像 Steve Case 和 Meg Whitman 這樣的科技界名人。當然，還有您！請在此申請參加。

本故事最初刊登於 Fortune.com