圖片來源：princeea網站
如果AI系統作出了正確預測，但卻以完全不同的方式解釋其得出的這些結果，會發生什么？DFKI數據科學團隊介紹了“X-hacking”給AI可信度帶來結構性風險的研究成果。
X-hacking一詞源于統計學中的P-hacking。所謂P-hacking指的是研究人員可通過一些數據操作技巧，在統計學上得出一個有顯著意義的結果，即使這個結果實際上并無意義。這相當于一種數據篡改，可能會導致發布假陽性結果。
相應的X-hacking描述了兩種核心機制：一是Cherry-picking，即從眾多同樣優秀的模型中，精心挑選出解釋能力最強、最能支持預期結果的模型；二是定向搜索，AutoML系統不僅能優化預測性能，還能精準地找到具有特定解釋模式的模型。但這里面存在的風險往往被低估。
即使模型得出的結果幾乎相同，所謂的特征重要性也可能存在巨大差異。這在醫學研究或社會科學等應用領域尤為敏感，因為在這些領域，可解釋的模型通常構成關鍵決策的基礎。
AutoML代表了開發、選擇和優化機器學習模型的自動化流程。軟件工具接管了許多以前只有經驗豐富的機器學習工程師才能完成的任務，例如選擇合適的模型架構、數據預處理和超參數優化等。在醫學、工業或社會研究等數據密集型領域，AutoML有望實現更快的開發速度、更低的進入門檻和可重復的結果。
然而，這種自動化使得人們難以理解模型決策的制定方式，這是可解釋AI的一個關鍵問題。因此，DFKI研究團隊建議，使用AutoML的學科應該意識到方法的風險，而不僅僅只是信任軟件。
