蜜桃爱爱视频_无码天堂亚洲国产av_亚洲精品久久久久久久蜜桃_翘臀后进少妇大白嫩屁股91大神_日本一级片在线观看_亚洲欧洲另类_自拍天堂_中国黄色影院_国精产品999国精产_免费日韩在线视频_爱操成人网_日日躁夜夜躁狠狠躁aⅴ蜜_亚洲精品久久66国产高清_一个色综合久久_国产午夜性春猛交ⅹxxx_99操视频
        • 鄭州
        您的位置: 法制網 > 綜合 > > 詳情

        大語言模型中的涌現現象是不是偽科學?

        來源: 程序員客棧 2023-05-21 10:39:46

        Datawhale干貨

        作者:平凡@知乎,諾桑比亞大學,在讀博士

        今天晚上,花了一點兒時間看了兩篇文章:


        (資料圖)

        《Emergent Abilities of Large Language Models》[1]

        《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

        這兩篇講的都是emergent behavior,即涌現現象。

        大規模神經網絡下的涌現現象

        在機器學習中使用大規模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規模神經網絡中往往是不存在的。

        第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規模,而縱軸是準確率,可以理解為模型的性能。

        我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。

        意想不到的效果

        第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

        作者發現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。

        從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。

        還有就是我覺得人類現在積累的知識并不少,但是系統的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。

        甚至可能把人類的生產力解放提前很多。

        參考

        1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

        標簽:
        溫馨提示:

        在實際法律問題情景中,個案情況都有所差異,為了高效解決您的問題,保障合法權益,建議您直接向專業律師說明情況,解決您的實際問題。 立即在線咨詢 >

        相關知識推薦
        操作
        分享
        15037178970

        公眾服務

        法制網公眾號

        快速找律師 / 免費咨詢

        查法律知識 / 查看解答 / 隨時追問

        律師服務(工作日8:30-18:00 ,非工作日請QQ留言)

        律師加盟

        律師營銷服務

        在線客服:

        加盟熱線:

        律師營銷診斷

        營銷分析 / 回復咨詢

        案件接洽 / 合作加盟

        法制法律網,中國知名的 法律咨詢網站,能夠為廣大用戶提供在線 免費法律咨詢服務。
        CopyRight@2003-2022 fazhi.net ALL Rights Reservrd 版權所有
        豫ICP備2022016495號-26
        違法和不良信息舉報電話:939 674 669@qq.com

        主站蜘蛛池模板: 一本大道伊人久久综合| 中国美女毛茸茸撒尿| 毛片网站在线观看| 午夜剧场视频| 国产精品国产三级区别第一集| 精品国产乱码久久久久久鸭王1 | 亚洲精品国产成人久久av盗摄| 国产精品久久久一区二区三区网站| 西西大胆午夜人体视频妓女| 3p4p多p国产| 日本免费黄网站| 亚洲另类在线观看| 国产午夜亚洲精品国产成人小说| 538在线精品视频| 韩日在线| 亚洲自拍天堂| 国产欧美久久久精品免费| 亚洲日本在线在线看片4k超清| 永久免费不卡在线观看黄网站| 欧美视频在线免费播放| 日本极品视频| 精品国产一区av天美传媒| 欧洲精品va无码一区二区三区| 国产高清对白| 午夜视频国产| 美女诱惑一区| 暖暖视频 免费 日本社区| 无码里番纯肉h在线网站| 河北彩花av在线精品| 亚洲欧美久久久| 亚洲涩涩涩涩| 福利免费观看午夜体检区| 欧美巨鞭大战丰满少妇| 久久成人在线| 在线视频久草| 久久蜜臀av| 日日碰狠狠躁久久躁96| 久久久久久亚洲精品不卡| 免费黄网站在线看| heyzo高清av北条麻妃4b| 永久免费av在线播放|