大语言模型中的涌现现象是不是伪科学? 每日消息
2023-05-06 21:40:17 来源:程序员客栈
Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
【资料图】
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词:
为你推荐
-
大语言模型中的涌现现象是不是伪科学? 每日消息
-
每日快播:明日湖人场边第一排票价195700元 热火场边第一排票价128500元
-
当前速读:有效筑牢校园安全“防火墙”,消防队员走进校园开展防灾减灾专项技能培训指导
-
天天时讯:西安适合约会的爬山地点汇总
-
4换1交易方案!鹈鹕已为快船拟定好交易方案,当家球星互换东家 全球微速讯
-
工信部批复5G地空通信试验频率
-
2023年常州地铁招聘报名时间+入口
-
正在公示!涉及河南省这39所幼儿园
-
世界滚动:华为发布全新昇腾AI开发者套件 国内过半原生大模型基于昇腾AI孵化
-
每日热议!女性向台本/即使他不能回来,我也要走了(替身梗.疼痛.女攻男受.4i.be)
-
成人学历报名条件及收费标准是什么2023年
-
世界速递!武汉6.84亿元挂牌硚口汉江湾1宗宅地 预计5月30日出让
-
中国移动发布5G极致专网3.0 Ultra 推出四款场景化专网产品 全球要闻
-
天天日报丨九洲集团子公司沈阳昊诚电气中标国家电力系统多个重要项目
-
88年后入土为安 云南禄劝隆重安葬21具红军烈士遗骸-全球快消息
-
OmegaStrikers亚夏需要什么
-
葬花是不是林黛玉(林黛玉为什么葬花简介介绍)
-
环球百事通!妥瑞氏综合征是什么原因_妥瑞氏综合征是什么
-
【环球快播报】保定易县关于主城区施工路段通行措施通告
-
当前短讯!亮眼!史上最大规模广交会成绩单揭晓
推荐内容
- 大语言模型中的涌现现象是不是伪科学? 每日消息
- 每日快播:明日湖人场边第一排票价195700元 热火
- 当前速读:有效筑牢校园安全“防火墙”,消防队员
- 天天时讯:西安适合约会的爬山地点汇总
- 4换1交易方案!鹈鹕已为快船拟定好交易方案,当家
- 工信部批复5G地空通信试验频率
- 2023年常州地铁招聘报名时间+入口
- 正在公示!涉及河南省这39所幼儿园
- 世界滚动:华为发布全新昇腾AI开发者套件 国内过
- 每日热议!女性向台本/即使他不能回来,我也要走了
- 成人学历报名条件及收费标准是什么2023年
- 世界速递!武汉6.84亿元挂牌硚口汉江湾1宗宅地
- 中国移动发布5G极致专网3.0 Ultra 推出四款场景
- 天天日报丨九洲集团子公司沈阳昊诚电气中标国家电
- 88年后入土为安 云南禄劝隆重安葬21具红军烈士遗
- OmegaStrikers亚夏需要什么
- 葬花是不是林黛玉(林黛玉为什么葬花简介介绍)
- 环球百事通!妥瑞氏综合征是什么原因_妥瑞氏综合
- 【环球快播报】保定易县关于主城区施工路段通行措
- 当前短讯!亮眼!史上最大规模广交会成绩单揭晓
- 全球速读:蔡英文上台7年居住政策跳票 台湾沦为
- 档案袋封装样式 档案袋封面目录
- 每日看点!喻宝才会见上海市副市长李政一行
- 每日快报!威胜信息:5月5日融资买入1113.94万元,
- 《马说》教案几课时(6篇)_焦点快看
- 豆瓣稿费银行怎么加入_豆瓣稿费银行官网
- 拜登批准亚拉巴马州重大灾难声明
- 开家眼镜店需要多少钱_开眼镜店需要多少钱_环球资
- 【当前独家】三钢闽光(002110):5月5日北向资金
- 补偿性余额的实际利率公式_补偿性余额 焦点快播
- 邹城:“五一”志愿服务“不打烊” 文明与爱齐传递
- 百姓看联播 | “五一”假期 河北166家重点商企
- 江西降雨再度加强 部分地区发生洪涝灾害 今日快讯
- 延边边境管理支队古城里边境派出所开展边境清查行
- 每日热讯!顺义区召开2023年乡村振兴工作推进会议
- 昭衍新药:在积极和AI软件公司开展合作 以提高未
- 全球热消息:孝廉冀闇斋先生元亨
- 【环球聚看点】新闻观察丨美国银行业危机下美联储
- 百年老街再现古韵 重庆这一传统村落即将焕发新生
- 深入了解亚马逊 FBM
油气
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
经济
-
迈克是英文男子名,Michael的昵称,也可以代表扩音器、麦克风、话筒、送话器的意思。扩音器顾名思义就是将声音进行放大,传播的更远的意思
-
中新网通辽10月18日电 (记者 张林虎)18日,记者从内蒙古自治区通辽市奈曼旗公安局获悉,国家一级保护动物--梅花鹿误入当地村民羊群,
-
中新网杭州10月18日电 (王题题 胡燕婕)云天收夏色,浅秋正渐浓。10月18日,浙江杭州市西湖游船有限公司推出的惠民多站点“西湖环湖游
-
中新网福州10月18日电 (记者 龙敏 王东明)福州市晋安区官方18日晚间通报,18日14时47分,晋安区岳峰镇化工路爱摩轮商业广场项目摩天
-
中新网兰州10月18日电 (闫姣 艾庆龙 吉翔)“红山白土头,黄河向西流。”不少人疑问,天下黄河向东流,为何甘肃永靖县这段黄河却向西