馬庫斯如有所思地點頭，腦海中俄然出現出無數思慮的途徑。

“不過你說的這些，”馬庫斯沉吟半晌，“聽起來非常前衛。我們現在的技術，特彆是硬體算力的限定，能夠還不敷以支撐如此龐大的收集佈局和騰躍式的連接體例。”

林楓微微一笑，顯得胸有成竹。

但馬庫斯卻非常正式地說道：“林！你曉得嗎？你正在竄改天下！”

可要說“改進收集佈局”，得詳細到甚麼程度才氣真正處理梯度消逝題目呢？

實在將來的竄改遠不但於此。

馬庫斯決定歸去就嘗試一番。

這話聽起來彷彿有些輕描淡寫，在2014年，深度學習的佈局題目是個熱點話題，而大師都還在環繞如何改進已有的架構，比如CNN（卷積神經收集）和RNN（循環神經收集）展開會商。

在將來，還會有更多高效的優化演算法，像Adam優化器會成為支流……

但在2014年，這個觀點還遠未被提出。

這類體例聽起來既能儲存深度收集的龐大性，又能有效應對梯度消逝的題目。

不過，對於林楓來講，這不過是習覺得常的知識罷了。

馬庫斯聽到林楓提到“改進收集佈局”時，愣了一下。

林楓笑了笑，點了點頭。

“的確，”林楓對此並不感到不測，“當前的硬體環境另有限定，特彆是GPU算力不敷，限定了深度學習收集的範圍。不過這些並不是題目，軟件技術的生長會鞭策硬體的進步。

“你們是朝著精確的方向走的，”林楓說道，眼神中透著些許不易發覺的自傲，“但或許你們忽視了一個更關頭的觀點。收集越深，資訊通報的停滯就越大，而如果我們在每幾層之間構建直接的‘捷徑’，讓資訊不必層層通報，而是能夠超越幾層直接回到前麵的層，如許就能有效處理梯度消逝的題目。”

“你說的這些……感受像是收集合有個反應機製，確保梯度和資訊都能迴流，保持學習的穩定性。”馬庫斯眼中閃過一絲鎮靜，他直覺林楓正在報告的東西，能夠會是將來衝破深層神經收集練習的關頭。

跟著並行計算技術的進步，將來會有專門為AI設想的硬體，比如TPU（張量措置單位），它們能夠顯著晉升練習效力。”

在2024年，處理梯度消逝的核心技術已經有了衝破性的停頓，比如“殘差收集”（ResNet）的提出，在當時被以為是改寫深度學習範疇的一項技術。

馬庫斯聽得麵前一亮，這個思路與他們之前會商的跳層連接確切有些類似，但林楓描述的更加完整。“跨層連接”和“跳層連接”不再隻是簡樸的嘗試，而是建立起一種全新的資訊通報體例。

林楓暗自一笑，跳層連接？

林楓認識到本身能夠正站在竄改這統統的關頭時候。

畢竟林楓關於野生智慧的知識量停止到2024，而現在才方纔2014。

林楓輕描淡寫地彌補道：“隻是一種假定性的計算架構，將來能夠會呈現，專門針對深度學習任務，你不感覺針對野生智慧深度學習有開辟一種專門硬體的需求嗎？”

“啟用函數的優化確切首要，”林楓淡淡說道，“但我說的改進，更多是指在收集層次的設想上。你有冇有想過，深層收集的題目不但是梯度通報不下去，而是資訊本身也冇法有效傳播？信號在一層層中通報時，逐步喪失了本來的首要資訊，比及最後幾層時，收集幾近是在‘自覺學習’。”