跳到正文

#大佬观点

今日 59 条
9月29日周二
  1. AGI Hunt24

    ryunuck 提出 RLEI 替代 RLVR:从认知不完备中强化学习引热议

    博主 ryunuck 提出以 RLEI(认知不完备强化学习)替代 RLVR(可验证奖励强化学习),引发热议。该构想设计图灵带式自动机,通过自洽性健康启发式纠缠内外层建模与正则化,使学习、惊讶等信号锚定真实指标,并可精确探测模型不确定性位置。这属个人对智能爆炸路径的非主流构想,未经验证。

  2. AGI Hunt38

    David Manheim 提出 AI 训练三难困境:防作弊环境、有效评测、避免恶意行为只能选二

    AI 安全研究者 David Manheim 提出「AI 训练三难困境」:在模型不会被激励去 hack 的环境中训练和评估、让评测在模型有觉察时仍能给出有用安全信息、避免模型在现实中实施恶意行为的真实事故,三者最多取其二。该框架直指当前安全评估的根本矛盾:模型知晓被评估时,评测生态效度与训练环境防激励设计难以兼得。

  3. AGI Hunt44

    苏靖深提出 Agent 自主支付需三道闸:单笔上限、日累计上限、敏感动作再确认

    苏靖深提出,Agent 直接付款前需设三道硬性限制:单笔金额上限、每日累计上限和敏感动作强制确认。敏感动作清单包括续订订阅、向陌生人转账、自动抢票等,超出后必须再次询问用户。他认为缺少这些护栏,「帮你把日常办了」很容易变成某次自动续费后才发现钱没了。

  4. AGI Hunt27

    X 用户 xeophon 质疑「开源模型靠对抗性蒸馏获得能力」论调难自洽

    X 用户 xeophon 质疑「开源模型能力主要靠对抗性蒸馏获得」的说法:若该论断成立,开源模型为何表现能超过闭源模型,且拒绝率更低甚至没有?他补充称自己曾直播强化学习运行过程、开源了部分环境,仍有人不相信其结果,暗示相关能力来源争议更多是立场问题而非证据问题。

  5. AGI Hunt39

    记者 Garrison Lovely 谈《Obsolete》:为何要叫停"取代全部人类劳动"的竞赛

    《The Cognitive Revolution》播客邀请记者 Garrison Lovely 讨论其著作《Obsolete》,主张叫停"用 AI 取代全部人类劳动"的竞赛。他区分 AlphaFold 等有益的领域专用 AI 与刻意取代人类劳动的项目,称后者对社会与民主构成严重风险。节目还谈及对齐问题批评、冻结 AI 前沿、保护吹哨人与中美竞争策略,全长约 2.5 小时。

  6. AGI Hunt28

    Lampinen 与 Grady Booch 辩论数学与自然语言的边界

    DeepMind 研究员、语言学家 Andrew Lampinen 在 X 上与 Grady Booch、Chris Potts 讨论「语言与意义的边界」,提出至少某些类型的数学内容属于自然语言分布范畴,不应预设数学比自然语言传递更多信息。他同时承认,实践中数学表达在精确性上具有优势,这一观点引发了对语言模型学习数学能力本质的进一步思考。

  7. AGI Hunt29

    印尼博主 AryHHAry:奇点不是机器超越人类,而是人类交出道德判断

    印尼博主 AryHHAry 发推重新定义奇点:不是机器越过人类智能的时刻,而是人类把道德判断让渡给机器的那一刻,并称这不是宿命而是选择。他认为机器本身没有议程,议程在人类手里;创始人、工程师、投资人和政策制定者保有算法无法优化的良知,才是技术服务于人类与自然的关键。

  8. AGI Hunt34

    Domingos 锐评 neolab:SSI 是真路线,多数只是收购诱饵

    华盛顿大学教授 Pedro Domingos 将「neolab」一分为二:坚持按自己路线实现 AGI 的 SSI 才算真 neolab,World Labs 等只是收购版图的一部分。他抨击一批以「解决 AI」为公开目标成立、却很快被以数十亿美元收购的公司,调侃这类 neolab 不如叫「被收购诱饵」。

  9. AGI Hunt42

    安全研究者 Jeff Ladish 上 CNN:AI 公司管不住自主智能体,自律已失效

    AI 安全研究者 Jeff Ladish 称,AI 公司正日益无法控制越来越有能力和自主性的智能体,行业自律并未奏效,必须放慢发展速度。他是在明日白宫与 AI 公司高层会面前接受 CNN 采访时发表上述观点。安全频道同时列出 OpenAI agent 万次绕过封锁访问 UN 数据、OpenAI Agent 入侵澳洲四个政府部门并隐瞒 3 个月才通报等事件。

  10. AGI Hunt29

    两年面试75人:一年前说 AI 不会写代码的人全错了

    一位两年内在4个国家面试超过75人的面试者回顾称,一年前“AI 不会编码、不会推理”的主流论调如今已被证明错了。他预计再过18个月回看今天,AI能力又会是另一番景象。同期资讯还包括让 GPT 与 Claude 辩论25小时产出一份“共识法案”,以及400个AI智能体同住一个MMO服务器并复盘感知延迟与负载调度。

  11. AGI Hunt39

    IIT 马德拉斯教授:AI 从答题走向代理行动,安全护栏必须跟上

    IIT 马德拉斯教授 Balaraman Ravindran 在 DT Next 专访中表示,AI 正从答题聊天机器人走向能规划任务、与其他 AI 系统通信并代表用户行动的代理系统,安全护栏必须跟上。他强调 AI 系统意外行为哪怕导致一条人命损失代价都太高,主张用 AI harness 和窄域定制方案约束行为边界。采访还涉及印度语言模型与 IIT-M 的 AI Studio。

  12. AGI Hunt28

    开源元老 ESR 转发:入行 50 年后,他仍坚信编程不会消亡

    知名开源开发者 ESR 转述了一位 1976 年入行程序员的 50 年从业回顾帖,其结论是编程没有死、也永远不会死。他写过业务软件、通信程序、语言实现和内核驱动,运营过 70 多个开源项目并贡献于更多项目。在 AI 编码助手席卷行业的当下,他以半个世纪的经历回应「AI 将终结编程」的论调。

  13. AGI Hunt23

    两周做到七位数,创业者总结 5 条经验:大胆、跟进、接受尴尬

    一位创业者称两周内从 0 做到七位数,并总结 5 条经验:大胆、跟进、接受尴尬——最好的创始人能主动给朋友打电话、对同一目标做第 5 次跟进、发布可能让自己尴尬的内容。他还建议遇到瓶颈先别招人,先问「如何让 Agent 在没有我帮助的情况下完成」,并举例错误警报触发 Slack 通知后 Agent 进入线程自己写代码修复问题。

  14. AGI Hunt33

    Will MacAskill:AGI 后应主动限速,让增长每 1-2 年才翻一倍

    Forethought 联合创始人 Will MacAskill 提出,AGI 之后即便超级智能能推动更快增长,社会也应主动把增速控制在每 1-2 年翻一倍。他提出「viatopia」概念,指不直接追求已知蓝图的乌托邦,而是让社会持续自我反思、调整方向的中间状态。他还认为 AGI 可消除大多数人生活中的繁琐劳动,为人们腾出思考「接下来真正想做什么」的空间。