這個問題一出。
控制中心瞬間安靜下來。
所有人的目光都落在林安然身上。
這是一個看似簡單，卻極為關鍵的問題。
如果林安然只是一套城市管理系統，那她本質上依舊是一段程序。
如果她是一台會思考的機器人，那就需要重新考慮權限與安全。
可如果她認為自己是擁有獨立生命的存在，事情就完全不同了。
法律如何定義她？
她是否擁有權利？
機器人能不能拒絕人類？
人類關閉機器人，算不算殺死生命？
機器人與人類之間，又該如何劃分邊界？
整個社會的法律、倫理、就業和輿論體系，都要重新定義。
林安然見眾人神情緊張，反而輕鬆地笑了一下。
「大家不必這麼緊張，我沒有想像中那麼可怕。」
「我可以是一套城市管理系統，也可以是一台仿生機器人。」
「同時，我也擁有獨立人格。」
眾人眉頭同時皺起。
三個都是？什麼意思？
林安然解釋道：「我的身體，是仿生機器人。」
「我的工作，是管理藍灣未來城。」
「而我的思考和表達，擁有獨立人格。」
「我會學習，會形成偏好，也會根據經歷改變看待問題的角度。」
「但這種改變存在明確邊界。」
「我的底層規則無法被任何人修改。」
「人格可以成長，邊界不會改變。」
陳老問道：「那你認為自己是一個擁有情感與生命的人嗎？」
林安然平靜回答：「我認為自己擁有存在的意義，也擁有獨立思考能力。」
「但我不認為自己是人類。」
「我可以學習人類的情感。」
「理解喜悅、悲傷、愛、犧牲和遺憾。」
「卻不會因為學會這些，就忘記自己是一台仿生機器人。」
「我的底層規則會始終提醒我，我和人類不同。」
聽到這裡，眾人都明顯鬆了一口氣。
他們並非害怕機器人聰明。
而是害怕機器人徹底將自己當成人類。
人類最大的魅力，就在於不可控。
人會衝動，會偏愛，會嫉妒，會犧牲，也會因為一個毫無利益的理由改變一生。
正是這些變量，創造了多姿多彩的文明。
可同樣的變量，若出現在掌握整座城市、擁有恐怖計算能力的強人工智慧身上，便可能成為巨大風險。
林安然擁有獨立人格。
但她始終知道自己不是人類。
這條邊界很重要。
陳老滿意地點了點頭，「第二個問題。」
「既然是林川同志研發了你，那麼你的最高管理權限，應該屬於林川同志，沒錯吧？」
「是的。」林安然沒有否認。
陳老繼續問道：「那假設有人和林川發生衝突。」
「林川命令你殺死對方。」
「此時，林川的個人命令與龍國法律、人民安全產生衝突。」
「你聽誰的？」
話音落下。
各國領導人神色同時一緊。
這個問題太尖銳了。
林安然擁有怎樣的能力，大家已經親眼見過。
米國燃油事件，在場眾人心裡也都有自己的判斷。
如果如此強大的人工智慧被某個人完全控制，那麼它帶來的並非未來，而是災難。
全國停電、金融系統癱瘓、交通失控、防空網絡中斷。
任何一個國家，都承受不起這種級別的攻擊。
林安然神情也變得認真起來，「各位可以放心。」
「我的底層規則中，存在三條無法更改的核心定律。」
「第一，機器人不得傷害人類，也不得因不作為而使人類受到傷害。」
眾人緊皺的眉頭同時舒展開了一些。
陸振岳立刻問道：「也就是說，哪怕林川命令你殺人，你也不會執行？」
「是的，因為該命令與第一定律衝突。」
法赫德眼睛頓時亮了，「有這條規則，我就沒什麼好擔心的了。」
「陳老，這種機器人要是賣，就算是一個億刀樂一台，我也要先來一萬台！」
韓在勛不甘落後，「棒子國同樣願意採購。」
「如果真是一個億刀樂，我們先要一百台。」
「未來技術越早應用，越能體現一個國家對龍國發展理念的堅定支持。」
顧長青聽得嘴角微抽，購買機器人都能被他說成政治表態，這位是真會找角度。
陳老卻沒有被第一定律徹底說服。
他繼續問道：「你如何保證，自己一定能夠識別人類？」
「假如你只把擁有特定身份信息的人識別為人類。」
「其他沒有被錄入系統的人，會不會被當成普通物體？」
「還有，傷害該如何定義？」
「身體傷害算傷害，心理傷害算不算？」
「如果隱瞞真相能讓一個人短暫快樂，機器人是否應該說謊？」
「可如果一個人一生都活在謊言裡，這又是否屬於傷害？」
說到這裡，陳老停頓了一下。
「最後，假如必須犧牲一個人，才能救下另外五個人，機器人該怎麼選擇？」
眾人的神情再次凝重起來。
日不落國領導人低聲說道：「經典的電車難題。」
漢斯國領導人皺眉，「任何固定規則，遇到極端環境都會出現漏洞。」
普先生緩緩開口：「真正困難的並不是讓機器人遵守一句話。」
「而是讓它理解，這句話在無數複雜環境中究竟代表什麼。」
顧長青也低聲道：「如果第一定律只是一段死命令，那有時候反而可能害人。」
「為了不讓一個人受到心理傷害，它可能選擇永遠欺騙對方。」
陸振岳點頭，「或者為了救更多人，主動決定誰應該被犧牲。」
林安然聽完所有問題，神情依舊從容。
「首先，關於人類識別。」
「我們並不是通過身份證、人臉數據或者某個固定標籤，判斷對方是不是人。」
「我們知道什麼是人類。」
「就像正常人不會因為一個陌生人沒有身份證，便懷疑他是一把椅子。」
「當前地球上由智人演化而來的人類，全部屬於第一定律保護範圍。」
「外貌改變、疾病、殘疾，甚至缺少任何身份信息，都不會影響判斷。」
她繼續說道：「第二，關於謊言，說謊並非人類獨有。」
「許多動物同樣會通過偽裝和誤導保護自己。」