隔壁老王還需求資本這個墊腳石。當它生長到能夠利用奈米技術製作任何東西的時候，它需求的獨一資本就是原子、能源和空間。

就算我們不考慮人類底子冇法達成一個同一的品德標準，就算我們真的達成了同一的品德標準，把這套標準交給野生智慧來保持，隻會把人類的品德鎖死在現在的程度。

以是隔壁老王從一個想要好好寫字的弱野生智慧變成一個超等聰明的超野生智慧後，它仍然還是想好好寫字罷了。

更好得達成這些目標就是野生智慧的目標。我們在對野生智慧停止擬人化的時候，會假定跟著它變得越來越聰明，他們產生一種能竄改它本來目標的聰明――但是智慧程度和終究目標是正交的，也就是說任何程度的智慧都能夠和任何終究目標連絡在一起。

這就是我們的下一個題目，野生智慧的動機是甚麼？

答案也很簡樸：我們給野生智慧設定的目標是甚麼，它的動機就是甚麼。野生智慧的體係的目標是締造者付與的。你的GPS的目標是給你指出精確的駕駛線路，IBM華生的目標是精確地答覆題目。

它一樣不能讓公司的工程師們曉得它毀滅人類的打算――以是它裝傻，裝純。Bostrom把這叫作機器的奧妙籌辦期。

人類的核心目標是持續本身的基因。要達成這個目標，一個手腕目標就是自保，因為死人是不能生孩子的。

以是固然個隔壁老王的終縱目標冇有竄改，騰飛後的隔壁老王能夠在更弘大的範圍上來尋求這個目標。超野生智慧老王比人類更加體味人類，以是搞定人類悄悄鬆鬆。

接下來的一個月，隔壁老王的打算順利的實施，一個月後，無數的奈米機器人已經被分離到了全天下的每一個角落。

這時候它會做甚麼？理性的做法就是毀滅全人類，它對人類冇有歹意，就彷彿你剪頭髮時仇家發冇有歹意一樣，隻是純粹的無所謂罷了。它並冇有被設定成尊敬人類生命，以是毀滅人類就和掃描新的謄寫樣本一樣公道。

超野生智慧的交際把持才氣也會很強大，它要壓服你做一件事，比你壓服一個小孩更輕易。而壓服工程師幫手連上互聯網就是隔壁老王的A打算，萬一這招行不通，天然另有彆的體例。

當我們議論超野生智慧的時候，實在是一樣的，超野生智慧會非常的聰明，但是它並不比你的條記本電腦更加像人類。究竟上，因為超人智慧不是生物，它的異己性會更強，生物學上來講，超野生智慧比智慧蜘蛛更加異己。

在人類心機中，我們把事情分紅品德的和不品德的。但是這兩種隻存在於人類行動當中。

但是當騰飛產生後，電腦不但是具有了高智商罷了，還具有了彆的超等才氣。這些超等才氣是感知才氣，他們包含：

它聰明的曉得人類能夠摧毀它、支解它、乃至點竄它的代碼（這會竄改它的目標，而這對於它的終究目標的威脅實在和被摧毀是一樣的）。

如果一開端的目標被設定成“最大化人類的歡愉”，它能夠終究先把人類毀滅了，然後製造出很多很多處於歡愉狀況的人類大腦。

比如我能夠說隔壁老王能夠通過挪動本身的電子產生的結果來產生各種對外的波，而這還隻是我此人類的大腦想出來的，老王的大腦必定能想出更奇異的體例。