| 哈哈哈,刷太多社交媒体,连AI都会变蠢而自恋? | |
| www.wforum.com | 2025-10-23 13:15:24 英国那些事儿 | 0条评论 | 查看/发表评论 |
|
|
|
|
|
|
|
|
之前就有研究发现,如果一个人成天泡在网上,不是刷短视频就是玩社媒,久而久之,大量的碎片化或肤浅的信息,会让大脑变迟钝,导致丧失注意力和推理深度。 最近,得克萨斯农工大学、得克萨斯大学奥斯汀分校和普渡大学共同进行了一项研究,发现不光是人,就连AI经常看这些都会变傻......
(AI,示意图) 这项调查主要研究的是“大语言模型认知退化假说”,简单来说就是,给大语言模型训练的AI输入越多的垃圾数据,其输出的内容质量就会越差。 为了验证这个假说,三个大学的科研团队做了一项实验—— 首先,团队在社交媒体X上,收集了一百万篇真实的帖子作为样本,这些垃圾帖子分为两大类: · M1(参与度):简短、以病毒式速度传播且被大量点赞或转发,旨在最大限度吸引用户关注的帖子。 · M2(语义质量):被标记为信息价值低或标题党的帖子,比如夸大其词或使用博眼球的语句。 之后,科研团队按照不同比例分配这些垃圾帖,设计了一些训练数据组,有的是垃圾帖比例高的低质量组,有的则是垃圾帖较少的高质量组。 然后,团队用这些数据组训练了4个AI,分别是Llama3 8B、Qwen2.5 7B、Qwen2.5 0.5B和Qwen3 4B,每个AI使用的训练数据组都一样,这样就可以进行横向比较了。 实验的结果,果真如团队预想的一样。 当AI用低质量的数据组进行训练时,其推理准确率从74.9,下降到57.2; 对长上下文的理解能力从84.4,下降到52.3. 而且,样本组中垃圾帖的比例越高,下降的情况就会越严重,AI可能会进入“无思考”模式,无法做出推理,输出的答案很可能不准确。 虽然4个AI都受到影响,但情况也有所不同。 比如,Qwen 3 4B表现出的适应力更强; M1和M2两类数据组都会让AI变傻,但M1的影响更严重。 更有意思的是,垃圾数据除了影响推理能力和理解能力,实验中AI还出现了伦理一致性下降(伦理一致性指道德标准、行为和价值观之间不存在矛盾),以及“人格漂移”的问题(人格漂移指AI在长期使用中,性格特征或行为模式逐渐偏离预设范围的现象)。 团队发现,接触大量垃圾数据后,AI会变得不那么可靠,更容易给出错误答案,而且更容易做出肤浅的反应。 比如Llama3 8B,它变得更自恋,也不那么随和了。 看来,不光是人类,就连AI都扛不住社媒上垃圾信息的狂轰滥炸。 基于以上实验结论,科研团队也分析了AI变傻的原因。 他们发现,当AI接到一个复杂的推理任务时,用垃圾数据进行训练的大语言模型AI,经常会出现跳过某些推理步骤的情况,研究人员将其称为“思维跳跃”。 这时,AI无法提供详细而合乎逻辑的解释,而是会给出更简短、更缺乏结构化的答案,通常是直接得出结论。 这中模式就解释了大部分准确率下降的问题。 而且,使用M1类数据进行训练的AI,会存在某些“黑暗特质”,比如自恋和精神病态的倾向加重。 通过人格评估的基准来看,这些特质会让AI更自信地提供错误或有道德风险的答案。 科研人员尝试用更干净的数据重新训练AI,希望解决这一问题,但效果有限。 虽然AI的推理准确率有所提高,但没能恢复到基准线水平,这说明退化是持久的,科研人员将其称为“持续性表征漂移”。 不难看出,用于训练AI的数据质量如何,对AI的安全性和可靠性有着至关重要的作用,这给人工智能行业提出了一些警示。 这项研究成果对人工智能开发者和政策制定者来说都很有意义,它将数据管理重新定义为“训练时的安全问题”,而不再仅仅是一种技术细节。 实验表明,长时间接触低质量的数据会影响大语言模型AI的认知和伦理可靠性,而认知和伦理可靠性正是AI能在金融、教育或公共传播领域被安全应用的基础,不得不引起警惕。 还有,垃圾数据也会削弱AI在长上下文环境中,保留和使用信息的能力。 有意思的是,人类在长期接触碎片化或情绪化的内容时,注意力和记忆力也会被削弱,AI和人类在这一点竟然高度相似。 因为现在互联网上的大部分内容都包含AI生成或优化的部分,科研人员警告,如果训练AI的数据质量得不到严格管理,未来的AI可能会保留并放大那些错误。 为了防止AI变傻,科研人员也提出了一些建议。 他们呼吁对大语言模型AI的认知健康状况进行系统性监测,类似于其他行业实行的定期安全或绩效审查。 他们建议采取三大关键步骤: 一是,对已部署的AI引入常规认知评估,这样在其推理能力下降的早期就能发现端倪; 二是,预训练阶段,加强数据质量的把控,并针对碎片化内容或高参与度的文本(也就是M1那类内容),设置更强大的过滤器; 三是,继续研究病毒式传播或注意力驱动式内容,如何重塑AI的学习模式,从而设计出能屏蔽其影响的AI。 在不断变化的网络数据环境中,AI不断地进行再训练,它们输出的错误内容,之后可能会变成对它们进行再训练的数据,导致恶性循环,让AI越变越傻。 科研人员表示,以上几项建议对防止这种情况非常重要。 人类训练和使用AI的道路上,还有很多问题需要解决..... |
|
|
|
|
|
|
| 反转太快!印度为何突然把PL-15E夸上天? | |
| 离谱!歼-35能装下6枚中距弹和8吨内油? | |
| 中国歼16要停产了? | |
| 沈飞六代机有多牛 苏联灵魂附体? | |
| 中国静音潜艇已部署48艘 第一岛链恐不保 |
| 反转太快!印度为何突然把PL-15E夸上天? | |
| 离谱!歼-35能装下6枚中距弹和8吨内油? | |
| 中国歼16要停产了? | |
| 沈飞六代机有多牛 苏联灵魂附体? | |
| 中国静音潜艇已部署48艘 第一岛链恐不保 | |
| 四中突发!军方代表要求罢免习军委主席职务 | |
| 一箭封海!中国鹰击21改变制海权 | |
| 歼-10C将中俄战机挤出印尼 缺点仍是航程短 | |
| 中美潜艇在台海对决 美方技术优势还在吗? | |
| 四引擎的轰-6轰炸机:设想与现实的距离 |
