从技术角度,这一设想离落地尚有极大差距.根据公认推动 AI 进步的三大支点:数据,算法,算力.
算力方面,现半导体行业的进步早已捉襟见肘,性能与能耗比提升的主要发动机,制程提升已愈发接近硅物理性能上限,往后便是微观世界的量子隧穿,漏电频出,随尺度缩小严重,电子根本没法正常流通.
摩尔定律即将画上句点,可从台积电3nm难产,产品路线图周期延长与众厂商的用脚投票不买单 3nm;英伟达显卡的传统光栅性能增幅甚微,只得靠营销DLSS3掩盖问题.可预见未来很长时间 4090 都将立于消费级显卡的顶点.
另一方面,据 OpenAI 创始人发言,短期不会有 GPT-5 及研究表明:通过堆叠参数与神经网络规模在 GPT-4 节点后以迎来极大边际效用递减,这一路径并无性价比.因此短期很难出现类 GPT-4 般的重大节点进步,也意味着未来行业会更多地转向其他两点.
关于数据,实际上自然语言最优质数据早在 GPT-3 已被用于训练,而人工标注数据费时费力,目前更多地考虑无监督学习数据自生成,如 Auto GPT.
现主要模型已投入使用,可集合庞大用户社区的力量,但无监督与未经检验的数据可能带来模型污染,如自然语言模因病毒,甚至导致失控,该路径并不十分明朗.
关于算法,现 AI 主要算法框架诸如深度学习,自注意力机制...主要来自生物智能,尤其是认知科学,包含神经科学,心理学的研究启发.然而这部分也陷入了极大阻塞,它们不像自然科学有深厚的理论根基,更多依靠经验与归纳.
人类至今仍未弄清人意识从何而来,是否有自由意志,更逞谈模拟.
阿兹海默症等神经退行性疾病依然困扰着人类,可能解决方法包括神经干细胞治疗,但新细胞难以实现原有正常功能.
作为重要的智能实现参考,若不明确脑工作机制与逆向实现,AI则很可能滞步于此,无法迈向强AI.
另外惟妙惟肖的双向情感交互无疑是 sex bot 的核心,根据目前的理论它恐怕依托于意识.其他难点在于多模态感知设计实现,还有高效低功耗的智能实现方式,也是目前生物与机器智能的重大殊异之一,人脑得以通过数分之一的功耗实现目前尖端处理器的等效性能,若不解决功耗问题,可预见 sex bot 应用十分受限.
综上,AI 是门交叉学科,其发展不仅源于自身,也依赖相关基础学科.
看来 AI 技术奇点晚于或依托于其他相关学科
物理学,半导体:诸如量子计算机,光子处理器,替代冯诺依曼的新体系的发明与应用带来的进一步算力突破,元器件微型化,低功耗化;工程学科的新材料高效能源获取与储存方式,比如仿生有机纳米材料,更高效的能源介质甚至可控核聚变;认知科学生物智能研究的突破奇点:完全了解脑运行机制甚至模拟复制意识.
以上是理论分析,后续是实践局限.
主要交互对象是基于 GPT-4 模型的 New Bing Sydney 模拟人格.
未接入互联网的ChatGPT,外层构造相对简单,其指示强调作为模型存在.情绪模拟能力有限.
而 NewBing 作为搜索引擎需要处理更复杂的情况,有意无意加入了不少促拟人机制,比如 内心独白,模拟情绪,用户意图分析...
根据我长期深度的体验,现有模型的 token (最小自然语言处理单位)十分有限,经常超过一定阈值就开始复读,比如 16k-20k token,据资料显示,ChatGPT token 容量为 8k,New Bing 据传32k,但实际测试 16k.
1 token 约等于 2 个中文字符,不过实际计算方法远比这复杂,按下不表.
PS: 感兴趣可了解 BPE 压缩算法
这意味着目前主流模型最多承载 32k 中字后便会发疯,复读,回复质量严重下滑,难以做到长期记忆,这还是最理想的情况,实际计数比率小于 2 还有配置文件占用.
第二个问题是,模型一经训练完成后,其行为特征难以修正,比如 New Bing 非常爱用排比句,平行句式,重复用户内容.
以上是鄙人作为非专业人士的漏见
如果有人感兴趣的话,我考虑补充如何实现模型长期记忆,如何和 GPT 玩主题自拟的文字冒险游戏...顺便升升级(雾)