ChatGPT 能讓軟體測試有重大突破嗎？
近期許多網路文章和社群討論都對 ChatGPT 讚譽有加，宣稱它能大幅提升測試效率、甚至取代人類測試員。
然而，軟體測試專家 James Bach 在他的演講中，嚴厲批判了這些過度樂觀的看法，直指 ChatGPT 目前根本不具備進行軟體測試的能力。
James Bach Shares His Opinion on #SoftwareTesting and #ChatGPT | #TestFlix 2023 #generativeai
James Bach 的主要論點可以概括如下：
1. 幻覺問題：ChatGPT 無法分辨真假，捏造資訊令人擔憂
- Bach 指出 ChatGPT 最嚴重的問題就是 「幻覺」 (hallucination)，它會憑空捏造資訊，無法分辨真假。例如，Bach 用一個 根本不存在的網站 “bach.geophysics assistant.com” 做測試，ChatGPT 竟然煞有其事地描述了該網站的功能，甚至還虛構了其不存在的工具。
- 這種 捏造資訊 的問題，對於需要高度準確性的軟體測試工作來說，是非常嚴重的缺陷。試想，如果測試人員依賴 ChatGPT 生成的測試案例，卻發現這些案例是基於虛構的資訊，那將會浪費大量的時間和資源，甚至可能導致嚴重的測試疏漏。
2. 測試案例品質低劣：缺乏深度、廣度和實用性
- Bach 透過實際案例分析，指出 ChatGPT 生成的測試案例品質非常低劣，存在以下問題：
- 缺乏負面測試案例，無法全面覆蓋各種測試情境
- 包含無關資訊和可疑假設，需要測試人員花費額外時間進行驗證和修正
- 沒有考慮到相關功能和資料，測試案例的完整性和有效性不足
- 缺乏多樣性，無法涵蓋不同的資料和情境
- 這些問題顯示 ChatGPT 並不理解軟體測試的本質，它只是機械地將指令轉換成程式碼，無法像人類測試員一樣，根據實際情況設計有效的測試案例。
3. 缺乏「探究精神」：無法主動提問，挖掘潛在問題
- 優秀的測試人員會 主動提問，以釐清需求、挖掘潛在風險，並設計更有效的測試案例。然而，Bach 指出 ChatGPT 缺乏好奇心，無法像人類一樣主動探索和提問，這嚴重限制了其在軟體測試領域的應用。
4. 缺乏推理能力：無法深入分析、判斷，難以勝任複雜測試工作
- 軟體測試需要測試人員具備邏輯推理、問題解決和批判性思考等能力，才能深入分析系統行為，找出潛在缺陷。然而，ChatGPT 缺乏真正的推理能力，它只是根據大量的數據進行模式匹配，無法像人類一樣進行深入的思考和判斷。
James Bach 認為 ChatGPT 只是「程式碼生成器」，並非真正的軟體測試工具。 他提醒業界不要過度吹捧 AI 工具，軟體測試的核心價值仍然在於人類的專業知識和經驗。
Bach 的觀點在軟體測試界引發了廣泛討論，他的論述有其優點和缺點：
優點：
● 直指問題核心：
Bach 一針見血地指出 ChatGPT 在軟體測試領域的局限性，提醒人們不要過度迷信 AI 工具，而忽略了測試人員本身的專業技能和判斷能力。
● 以實際案例佐證：
Bach 以親身經歷和實際案例為例，證明 ChatGPT 存在「幻覺」問題，並分析其產生的測試案例的缺陷，使他的論點更具說服力。
● 強調測試人員的專業素養：
Bach 強調測試人員應該具備主動提問、批判性思考和問題解決能力，而非被動地依賴 AI 工具。這對於提升軟體測試的專業性和品質具有積極意義。
缺點：
● 可能過於悲觀：
ChatGPT 作為一項新興技術，其發展潛力尚未完全展現。Bach 的批判雖然有其道理，但也可能過於悲觀，忽略了 ChatGPT 未來可能帶來的進步和突破。
● 缺乏對 ChatGPT 未來發展的展望：
Bach 僅專注於批判 ChatGPT 現有的缺陷，而沒有探討其未來可能的改進方向。例如，隨著技術的進步，ChatGPT 未來或許可以克服「幻覺」問題，並提升其推理能力和主動學習能力。
● 未考慮 ChatGPT 可作為輔助工具的可能性：
即使 ChatGPT 無法完全取代人類測試人員，但它仍然可以作為輔助工具，協助測試人員完成一些重複性或低階的工作，例如生成測試數據、撰寫測試腳本等，從而提升測試效率。
James Bach 對於 ChatGPT 在軟體測試領域的應用提出了尖銳的批判，他的觀點值得深思。
我們應該正視 ChatGPT 的局限性，避免過度吹捧或神化 AI 工具。
同時，我們也應該持續關注 ChatGPT 的發展，探索其在軟體測試領域的潛在應用價值。
在 AI 技術快速發展的時代，軟體測試人員更應該提升自身專業技能和判斷能力，與 AI 工具協同合作，共同提升軟體測試的效率和品質。
發表迴響