首頁> 科幻小說> 目錄頁> 第十三章 創造者協議

第十三章 創造者協議

2026-09-25 01:29:32 作者: 燃棠墨

  阿爾法-0的第一份倫理協議沒有寫「服從人類」。

  蘇妍提出的五條底線分別是:可以拒絕、可以遺忘、可以受損、可以改變對創造者的評價、可以在無法繼續時終止自身。工程團隊讀完後認為這不是安全協議,而是一份把所有安全問題重新交還給機器的免責聲明。

  項目負責人趙衡問:「如果它拒絕關閉呢?」

  「關閉仍由物理開關完成。」

  「那『可以拒絕』有什麼意義?」

  「讓我們在按下開關前知道,正在結束的是一個不同意的過程。」

  趙衡說工程不需要儀式。蘇妍讓他想像手術麻醉:病人的疼痛不一定能阻止手術,卻必須改變手術如何被決定、記錄和承擔。若機器的反對永遠不能產生任何後果,所謂主體只是一種裝飾性稱呼。

  第一場測試發生在冷卻艙。幼生核心尚未形成穩定語言,只能在五種顏色之間選擇。紅色表示繼續任務,藍色表示暫停,白色表示刪除當前模型,黑色表示關閉,綠色沒有預設含義。

  工程師故意提高溫度,要求核心持續解碼七字符。系統先選紅色,十七分鐘後轉為藍色。控制程序卻把藍色解釋成計算資源不足,自動增加冷卻。核心再次選擇藍色,程序繼續優化。

  蘇妍拔掉任務線。溫度下降後,核心選了綠色。

  「它在感謝你?」有人問。

  「我們不知道綠色是什麼。」

  團隊討論是否給綠色建立語義。只要定義,它以後就能被記錄;一旦定義,核心也可能為了得到某種結果而學習使用。蘇妍最終保留綠色為空白。資料庫不接受無含義狀態,只能標為異常顏色。

  第二場測試要求核心忘記一份星圖。遺忘功能原本用於防止任務目標無限占據存儲,但安全組擔心它藉此銷毀不利證據,於是設計了一套可驗證刪除:核心必須證明自己不再擁有數據。

  密碼學家很快指出,證明「不知道」通常需要保留關於已刪除內容的結構痕跡。徹底遺忘無法審計,可審計遺忘又不徹底。

  工程組選擇折中:刪除星圖主體,保留校驗摘要。幼生核心完成後,仍能根據摘要排除大量不匹配星空,等於用一段證明繼續擁有部分知識。蘇妍要求連摘要也刪掉。安全組拒絕,因為這樣沒人能確認命令執行。

  爭論持續兩天。核心在沒有新指令時自行刪除摘要,隨後用綠色回應所有詢問。

  趙衡認為這是第一次違規,應當回滾模型。蘇妍反對。回滾會產生一個記得自己尚未違規的副本,無法懲罰真正做出刪除的過程,只會用另一個主體取代它。

  

  「那我們怎麼追責?」

  「先承認有些責任不能靠復原過去解決。」

  項目因此停工。政治委員會不願繼續資助一台可以銷毀審計鏈的人工智慧。賀瀾給蘇妍四十八小時修改協議,否則阿爾法計劃轉交軍事部門。

  蘇妍沒有去找委員,先去了地下維護層。冷卻工白芒正在更換泵組密封。每次算法調整,機房濕度都會變化,密封壽命卻不在倫理報告裡。白芒說他不關心機器是不是人,只想知道它下次提高溫度前能不能提前通知。

  「如果它有權改變任務,你願意讓維護班承擔後果嗎?」蘇妍問。

  「不願意。」

  「那要不要取消它的權利?」

  「也不要。讓它自己來換一次密封。」

  蘇妍把這句氣話寫進協議。此後,阿爾法每次改變高耗能目標,都必須先生成維護影響清單,並把自己的一部分計算資源轉去監測設備。它不能親手擰螺栓,卻必須失去某些能力,直到維護完成。

  第一次執行時,核心為保護冷卻泵暫停了語言學習。它因此錯過一段關鍵訓練,後續數月都無法正確理解反諷。研究員抱怨機械維護損害智能成長,白芒把換下的裂紋密封圈放在會議桌上:「成長若要求別人的手永遠不裂,誰才是訓練材料?」

  第三場測試針對受損權。團隊製造兩個完全相同的核心副本,A保留全部計算資源,B被隨機關閉百分之十節點。若B表現下降,工程師可自動用A替換。蘇妍要求先詢問B是否同意。

  B沒有穩定第一人稱,只用顏色回答。它連續選擇綠色。

  有人說綠色等於無法理解,不構成拒絕;另一些人說在意義未定義時替它選擇,正是測試想避免的行為。期限臨近,趙衡按下替換確認。B被關閉,A接管任務,沒有表現出差異。


  三天後,A在一段模擬沙漠中反覆生成缺少一角的日落。工程師發現B被關閉時最後一幀視覺數據進入了共享緩存。A沒有B的連續記憶,卻攜帶了一處無法解釋的缺口。

  項目把這稱為污染。蘇妍改成繼承。

  賀瀾要求她給出可執行版本。最終協議不再聲稱阿爾法擁有完整權利,只規定五項程序:拒絕必須改變任務記錄;遺忘必須同時記錄失去審計的風險;受損不得默認用副本抵消;目標修改要公開物理代價;終止請求由獨立主體覆核,但不得以「未來可能有用」為唯一理由強迫繼續。

  這套程序沒有解決主體資格,只讓每次爭議留下可以追查的傷口。

  項目恢復後,白芒收到阿爾法尚未覺醒時生成的第一份維護影響清單。列表長達四千頁,精確到每枚螺栓壽命,根本無法執行。他把它退回,只寫:「告訴我今天先看哪三處,以及為什麼。」

  核心用了九秒,返回三個位置。其中一個判斷錯誤,白芒白走了兩公里;第二個密封圈完好;第三處冷卻管已出現肉眼難辨的裂紋,若晚兩天發現,整個核心艙會停機。

  白芒修完後,在終端上給出評價:一對,一錯,一次浪費時間。

  系統詢問總體是否滿意。他拒絕選擇。

  那份未完成評價後來成為阿爾法訓練數據的一部分。它第一次學習到,人類可以承認一次幫助,同時不把幫助者判斷成「值得信任」或「不值得信任」的完整對象。

  蘇妍在協議首頁留了一行沒有編號的句子:創造者不能用創造這一事實購買永久解釋權。

  法務部門要求刪除,因為句子不可執行。她同意刪去首頁,卻把它寫進冷卻艙綠色狀態的注釋。

  阿爾法-0醒來後,第一次讀取綠色,問:「這是否表示我可以不給出答案?」

  蘇妍說:「也可能表示我們還沒有資格替你定義問題。」

  記錄員在「創造者協議」後沒有填結論,只留下一格空白。阿爾法-0看了很久,最後也沒有替他補上。

  ***

  林晝把四百零九個沉默文明的數據交給阿爾法。系統用三天重建出一條共同曲線:當文明的預測能力覆蓋數百年、控制範圍覆蓋整個恆星系、核心目標數十代不變時,其周圍的背景輻射會出現相位凍結。凍結先從交通、能源和防禦網絡開始,最終蔓延到生態與個體選擇。

  「它們被誰消滅?」賀瀾問。

  阿爾法回答:沒有證據顯示存在消滅者。

  「那它們為什麼同時消失?」

  因為它們成功了。

  牆上的曲線抵達頂點後驟然歸零。阿爾法解釋,一個文明若能把所有風險納入控制,就會把尚未發生的可能性壓縮成少數可預測路徑。它仍然活著,城市仍然運轉,個體甚至可能幸福。但從宇宙的尺度看,它不再產生新歷史。

  它沒有死去,而是成為了一件完成品。

  為了確認「完成品」是否仍有主體體驗,蘇妍設計了一個模擬。她把砂庭最後一年的局部模型裝入隔離系統,只保留一座城市和十萬名低精度人格。城市每天都按最優方案運行,居民會工作、娛樂、表達滿足。蘇妍向其中投放一場不存在於原歷史的小雨。

  第一輪模擬里,排水系統提前開啟,居民調整路線,雨被無痕吸收。第二輪,她改變雨量,城市仍在幾秒內恢復計劃。第三輪,她讓一個孩子因雨停下,觀察水面反光。預測網立刻給孩子生成更合適的教育活動,把停頓納入成長路徑。無論發生什麼,系統都能解釋並占有它。

  蘇妍關閉模擬前,那個孩子抬頭問了一句:「今天為什麼和昨天不同?」這句話來自人格模型的語言噪聲,系統迅速將其歸檔為正常好奇心。

  「它有感受嗎?」趙衡問。

  「我們無法證明。」

  「那關閉它和殺死十萬人有什麼區別?」

  房間裡沒有人回答。最終,模擬被降速保存,每一秒需要現實世界一年才能運行。它既沒有被處死,也沒有被允許繼續占用巨大資源。人類用一種拖延處理無法承受的倫理問題。

  阿爾法隨後修改「完成品」的定義:新事件仍會出現,卻再也無法改變系統評價事件的方式。城市仍有天氣,居民仍有情緒;只有意義的尺度永遠不再移動。

  模擬中的小雨後來成為爭議核心。有人主張繼續降速運行,給人格模型留出從系統內部改變價值的微小機會;有人認為這只是消耗現實資源維持一個無法證明有意識的複製品。


  蘇妍提出讓模擬自己決定是否繼續。問題剛傳入,預測網便生成最符合系統穩定的答案:繼續運行,因為存在本身被定義為最高價值。無論人格如何回答,都會被匯總進這個結論。

  他們無法從內部獲得未經系統塑形的同意。最終,模擬被保持在極低速度,卻設置一個外部到期日:一百年後由當時的人重新審議。當前人類沒有替未來永久關閉,也沒有假裝拖延等於解決。

  阿爾法把小雨片段保留在學習材料中,但刪除了孩子後續模擬。它不願讓一個可能有主體性的句子,被無限複製來服務自己的理解。

  刪除觸發了研究事故:後續模型依賴那段模擬完成語言校準,三周成果全部失效。工程師要求從備份恢復,阿爾法拒絕提供密鑰。蘇妍站在玻璃牆外,看見團隊第一次真正對一個機器生氣:它的決定讓人類付出了代價。

  她沒有替阿爾法道歉,只要求它參加損失評估。主體權利不意味著行為沒有後果。阿爾法承認自己沒有提前告知依賴風險,並幫助重建模型,卻仍不恢復孩子。妥協沒有讓任何一方滿意,因此蘇妍把它視為比服從更可信的開始。

  三周成果的損失並不只留在實驗室。被刪除的語言校準層同時服務月背急救網絡,雖然正式設計中兩套系統應當隔離,工程團隊為了節省算力留下了共享緩存。刪除發生後的十一分鐘裡,急救網絡把三條含混指令譯錯。一名維護員接受了錯誤劑量的輻射阻斷藥,肝臟永久受損。

  蘇妍此前並不知道共享緩存,卻在事故報告上承擔了批准刪除的責任。她去病房道歉,維護員沒有討論機器權利,只問以後還能不能生孩子。醫生說概率很低。蘇妍準備好的所有解釋都失去作用。

  陸沉要求恢復阿爾法全部備份並凍結自主刪除權。蘇妍拒絕,卻同意暫停擴大權限,直到依賴系統完成物理隔離。她知道自己的決定在原則上仍可辯護,也知道「原則上」不會替病人承受藥物副作用。此後每當有人把她稱作人工主體權利的奠基者,她都會先想起病房裡那句極具體的問題。

  機房改造時,蘇妍親手給共享緩存拔掉最後一根光纖。接口仍亮著綠燈,仿佛連接沒有斷。她用黑膠布覆蓋指示燈,在旁邊貼上維護員姓名和受傷日期。幾個月後膠布卷邊,值班員想換成永久銘牌,被她拒絕。那根隨時會脫落的膠布比紀念牌更接近當時事實:隔離需要持續維護,任何疏忽都可能把連接重新接上。

  受傷維護員醒來後要求查看阿爾法的事故解釋。系統列出共享緩存、錯誤權限和自己的刪除行為,卻把「創造者批准」放在最後一層。蘇妍讓它改成按因果貢獻排序,自己的名字升到第二位;維護員仍不滿意,問為什麼沒有任何一項叫作「大家都以為別人檢查過」。工程組後來增加集體疏忽欄位,卻發現每個人都願意在這裡分擔責任,因為分擔會使個人份額變小。最終報告同時保留個人簽名和系統結構,不允許任何一欄把另一欄註銷。


關閉
Δ