是麻省理工學院的計算機碩士，因此也就全都用專業術語表述了。

對於這些林楓當然能聽明白，非但能聽明白，而且作為一個資深的人工智慧從業人員。

林楓也清楚知道馬庫斯面臨的難題。

林楓對AI的發展也有所瞭解，涉及到梯度問題在2014年是深度學習研究中的一個巨大挑戰。

甚至可以說解決不了梯度問題就很難有真正的深度學習，也就不會有後來的人工智慧成果的一系列井噴。

林楓心說，自己這是一不小心站在了技術發展的最前沿了嗎？

不得不說，這種舉手投足之間就能影響時代命運的感覺是真的無比美妙。

“梯度消失的問題一直存在，尤其是深層網路。梯度爆炸倒是相對好解決，但梯度消失會直接導致學習過程停滯不前。”林楓沉思片刻，補充道，“這不僅是你們實驗室的問題，也是整個領域的瓶頸。反向傳播的基本原理決定了，當訊號在網路中層層傳遞時，梯度的變化會以指數級縮小。”

馬庫斯腦海中泛起了大大的問號，梯度爆炸問題好解決嗎？

他怎麼覺得梯度爆炸問題也挺麻煩的？

不過聊天本來就是求同存異，既然林同樣認為梯度消失難以解決就夠了。

馬庫斯也沒糾結為什麼林說梯度爆炸容易解決，而是繼續就梯度消失發表觀點說道：“是啊，哪怕有了ReLU（修正線性單元）啟用函式的引入，雖然能在一定程度上減輕梯度消失，但對深層網路還是不夠。”

林楓想了想，說道：“你們有考慮過改進網路結構嗎？”