這篇是Michael Bolton大大的分享
Zebrunner Expert Series | Webinar with Michael Bolton — Testing AI: 5 obstacles and 7 workarounds
https://youtu.be/EBefJDa5aao
以下是 Michael Bolton 提出的五大障礙和七種應對策略：
五大障礙：
- 演算法的模糊性 (Algorithmic Opacity):
- 機器學習演算法，特別是深度學習模型，其內部運作機制複雜難懂。
- 測試人員難以理解模型是如何做出決策的，也難以預測模型在不同情況下的行為。
- 這種模糊性為測試帶來了挑戰，因為我們無法明確知道模型的決策依據。
- 模型的脆弱性 (Radical Fragility):
- AI 模型的訓練數據和訓練方法會直接影響模型的性能和行為。
- 對模型進行微小的調整，例如更新訓練數據或修改模型參數，都可能導致模型產生不可預期的變化。
- 這種脆弱性使得 AI 模型難以維護和更新，也增加了測試的難度。
- 一廂情願的聲稱 (Wishful Claims):
- 由於 AI 的熱潮，人們傾向於將 AI 擬人化，並誇大其能力。
- 許多產品被標榜為 “AI”，但實際上並未使用真正的 AI 技術，或者 AI 技術的應用非常有限。
- 這種過度炒作導致人們對 AI 產生不切實際的期望，也為測試帶來了困擾。
- 社會情境 (Social Situations):
- 人們傾向於將 AI 應用於原本由人類執行的任務中，例如醫療診斷、法律諮詢、自動駕駛等。
- 在風險低或有人類監督的情況下，AI 的應用可以帶來效益。
- 但在高風險情境下，例如醫療診斷或自動駕駛，AI 的錯誤可能會導致嚴重的後果。
- 測試人員需要評估 AI 應用場景的風險，並確保 AI 系統的可靠性和安全性。
- AI 狂熱者 (AI Fanboys):
- 一些 AI 狂熱者和管理者過度吹捧 AI 的能力，忽視其潛在風險。
- 他們可能急於將 AI 應用於各種場景，而不考慮 AI 技術的成熟度和潛在問題。
- 這種盲目樂觀的態度會阻礙對 AI 的理性討論和評估，也為測試帶來了挑戰。
七種應對策略：
- 了解 AI 的類型和應用 (Know your AI):
- 測試人員需要了解不同類型的 AI，例如機器學習、深度學習、自然語言處理等。
- 了解這些 AI 技術的原理、應用和局限性，才能更有效地設計測試策略。
- 測試系統周邊 (Test Around It):
- AI 系統中，並非所有部分都由難以理解的演算法組成。
- 測試人員可以專注於測試系統中可觀察、可控的部分，例如輸入數據、輸出結果、系統介面等。
- 透過觀察系統的輸入和輸出，可以間接了解 AI 模型的行為，並找出潛在問題。
- 關注數據 (Look at the Data):
- AI 模型的訓練數據是決定模型性能的關鍵因素。
- 測試人員需要了解訓練數據的來源、品質和偏差，才能評估模型的可靠性。
- 可以透過分析訓練數據，找出數據中的偏差和錯誤，並評估這些偏差對模型的影響。
- 考量 AI 的範圍和風險 (Consider Scope and Risk):
- 評估 AI 系統的應用範圍和潛在風險，包括錯誤、偏差和責任問題。
- 了解 AI 系統的設計目標和應用場景，才能評估 AI 系統的風險。
- 例如，在醫療診斷領域，AI 系統的錯誤可能會導致嚴重的後果，因此需要進行更嚴格的測試。
- 像測試者一樣思考 (Be a Tester):
- 不要被 AI 的光環所迷惑，保持批判性思維，將 AI 系統視為任何其他需要測試的軟體。
- 不要認為 AI 系統是完美的，要假設 AI 系統中存在缺陷，並努力找出這些缺陷。
- 實際使用 AI 系統 (Use the Damn Thing):
- 親自使用 AI 系統，進行各種測試，才能真正了解其功能和限制。
- 透過實際使用 AI 系統，可以發現 AI 系統在哪些方面表現良好，哪些方面存在不足。
- 這種親身體驗可以幫助測試人員設計更有效的測試案例。
- 收集案例 (Collect Stories):
- 收集 AI 系統失敗或造成問題的案例，作為測試和評估的參考。
- 這些案例可以幫助測試人員了解 AI 系統的潛在風險，並設計更有效的測試策略。
- 也可以從這些案例中學習，避免 AI 系統在未來犯下同樣的錯誤。
發表迴響