掀起 AI 浪潮的 ChatGPT 儘管可以協助解決很多事情，但也因為會產生虛假的訊息，或誤導性的內容，產生「人工智慧幻覺」(hallucinations) 而飽受批評，專家認為這種「幻覺」受到技術與需求之間的限制，根本無法被解決。
財富網中文網報導，與 ChatGPT 或其他 AI 聊天機器人相處足夠長的時間，很快就會發現它們有時會「編造答案」，這種現象被稱為「幻覺」，即機器人做出的捏造或純粹的編造，對於那些試圖讓 AI 系統編寫文檔並完成工作的企業、組織甚至學生，這是一個致命的問題。
聊天機器人 Claude 2 的製造商 Anthropic 共同創始人 Daniela Amodei 認為，現在沒有任何一種模型能夠完全避免產生幻覺，因為它們的設計初衷只是用來預測下一個單詞，因此模型肯定會有一定的錯誤率。
包括 ChatGPT 的製造商 OpenAI、Anthropic 及其他大型語言模型的 AI 系統主要開發者都表示，他們正努力讓這些系統變得更準確，但目前尚不清楚需要多長時間才能達到足夠的可靠性。
不過，華盛頓大學計算語言學實驗室的主任、語言學教授 Emily Bender 認為，「這個問題無法完全解決，因為技術與實際需求之間存在固有的不匹配。」
Google 已向新聞機構推銷一款新聞寫作 AI 產品，而作為與 OpenAI 合作的一部分，美聯社也在探索使用這項技術，而 OpenAI 正在付費使用美聯社的部分存檔文本來改進其 AI 係統。因此，生成式 AI 的可靠性至關重要，麥肯錫全球研究院（McKinsey）預計，這將為全球經濟帶來相當於 2.6 兆至 4.4 兆美元的收入。