以下是ChatGPT o1 模型從多個角度來探討「生成式 AI 在軟體測試方面仍不足，或無法完全取代人類測試工作」的原因與現況。整體而言，AI 生成的測試或測試輔助仍有若干局限，需要人類測試人員/開發者共同參與與驗證。
1. 測試策略與測試計畫難以自動化
- 測試策略與優先級判斷
測試並不只是執行測試案例（Test Case）而已，需要先規劃測試策略、範圍、風險評估與優先級。這些都仰賴對產品功能、使用情境、商業目標、風險控管等多面向的考量。生成式 AI 可能能夠依據給定的規格文件或範例去生成測試案例，但它難以完全理解「哪一些功能最關鍵」、「哪一些風險最優先處理」，更無法全盤考量整個專案的利害關係。 - 多樣化測試方法整合
有時候專案需要包含單元測試（Unit Test）、整合測試（Integration Test）、端對端測試（End-to-End Test）、性能測試（Performance Test）、安全測試（Security Test）等不同層次。要如何分配資源、決定測試的覆蓋範圍，背後涉及大量人為經驗與判斷，這些策略性的決策目前難以單靠 AI 生成。
2. 專業領域與業務邏輯的理解不足
- 領域知識（Domain Knowledge）
在金融、醫療、電信、工業控制等特殊領域，有特定的法律規範、行業標準，以及複雜的業務邏輯。AI 雖然能基於文字輸入或程式碼片段自動生成測試，但常常無法理解某些專業邏輯或驗證的合理性。例如，一段金融業務流程的輸入、輸出判斷可能牽涉多重商業規則與合規要求，AI 如果沒有完整且高品質的資料集，很難生成正確且完整的測試案例。 - 隱藏的業務風險、流程判斷
某些業務需求的「陷阱」或「潛在風險」只有資深專家或測試人員長期觀察後才會發現，如：使用者可能如何誤用系統、資安漏洞可能出在哪裡、不同系統串接後的邏輯衝突等。生成式 AI 尚無法從經驗或直覺角度去預測如此隱晦的情況。
3. 創造性/特殊情境的測試不容易涵蓋
- 探索式測試（Exploratory Testing）
測試人員常常在測試過程中憑經驗與直覺「探索」各種不在規格書上的行為、流程或UI操作；這種非結構化的探索式測試能發現大量意想不到的缺陷。AI 雖然可以生成測試腳本，但往往是基於較制式的流程，很難主動去「跳脫」預設流程、挖掘真正意料之外的情況。 - 使用者體驗與可用性測試（UX / Usability Testing）
不同使用者可能以多樣化方式操作系統，並且對介面、流程會有不同反饋。AI 欲針對可用性或易用性進行測試，需要能夠模擬人類行為與感受，但目前在真實的人因測試與情感層面仍有相當不足之處。 - 外部條件與環境變數
一些軟體可能需要在複雜環境運行，如網路波動、硬體差異、大量併發使用者、多地部署… 等。AI 可以生成部分的自動化測試腳本，但要真正模擬真實且多變的運行環境，需要更進階的設計或實際測試場景搭建，這也超出單純程式碼生成的範疇。
4. AI 生成測試可能有的風險與限制
- 測試品質無法保證
生成式 AI 的測試案例常常是根據數據或描述文字所「推測」而來，並不保證全面性與正確性。若使用者提供的需求描述或系統文件不夠完整，AI 生成的測試可能缺漏重要的測試案例，也可能生成與實際需求不符的測試。 - 依賴訓練資料與模型侷限
生成式 AI 是基於語言模型（LLM）或其他演算法在大量的程式碼或文字語料上訓練而成，若是受訓練語料中缺乏對特定系統、特定框架、特殊演算法的充足案例，AI 在生成測試時就可能出錯或無法覆蓋要點。 - 安全測試與隱私合規測試
生成式 AI 若不具備最新的安全漏洞資料與合規要求知識，就難以自動檢測像是 SQL Injection、XSS、身份驗證流程缺陷、隱私政策符合性等等。這些高風險測試需要專業安全測試工程師（或資深的 DevSecOps 人員）去評估、設計與驗證。
5. 人類測試工程師的不可或缺性
- 測試的目標與策略制定
AI 雖然能生成測試案例，但「要測什麼、為什麼測、測到什麼程度」仍需要人類進行高層次的決策。測試領導或資深測試工程師通常在專案的早期階段就要分析風險、確定測試需求，AI 很難在這些複雜、抽象的決策點上自動給出最佳解。 - 對測試結果的判讀與判斷
即使有自動化測試腳本、CI/CD 工具或 AI 生成測試案例，最終測試執行結果需要人類去判斷是否「真的」出現了缺陷，或是測試腳本本身出錯。尤其在出現「假陽性（false positive）」、「假陰性（false negative）」的場合，需要人員有足夠的背景知識來做正確的判讀與後續處理。 - 人性化視角與創造力
很多軟體缺陷或可用性問題都與人性化設計有關，如使用者操作心理、介面引導的易理解性等。AI 難以完全模擬人類的思維、情緒與偏好，因此無法在可用性或創新應用的場景中取代人類測試人員的觀察與判斷。 - 回饋循環與持續優化
許多軟體專案採用敏捷開發（Agile）或 DevOps 模式，需要在每個短迭代中不斷蒐集使用者或市場反饋。人類測試人員在這個快速迭代的過程中，扮演了「使用者同理」與「產品品質守門」的角色，AI 雖能輔助，但需要人類定義問題、判斷優先級、微調流程。
6. 未來展望：人機協作，而非替代
雖然生成式 AI 在測試方面還不能完全取代人類，但它可以在以下方面帶來顯著幫助：
- 自動化測試腳本生成與維護
AI 可大幅減少人類在撰寫基本單元測試、API 測試腳本時所花費的時間，幫助快速產生測試模板，也能協助修改過期或因需求變動而失效的測試腳本。 - 測試案例建議與補充
AI 能對照需求規格與程式碼結構，自動建議一些可能漏掉的測試案例，輔助測試人員做覆蓋範圍的檢查。 - 初步分析與報告
針對測試執行紀錄或錯誤日誌，AI 可以協助進行初步的問題歸類與分析，讓測試人員或開發者能更快速定位問題所在。
發表迴響