全修仙界都想我开课 第670章 而是要“优化”人类
第六百七十章：而是要“优化”人类
第二天清晨六点半，我被闹钟叫醒。
窗外日内瓦的天空灰蒙蒙的，湖面上笼着一层薄雾。我洗漱完毕，换上提前准备好的正装——深蓝色的西装外套，白色衬衫，简洁利落。对着镜子整理衣领的时候，我看到镜子里自己的眼神还算平静。
正式会议在教科文组织总部大楼的主会议厅举行。
我到场的时候，环形阶梯会议厅里已经坐了大半的人。各国代表、技术专家、伦理学者、媒体记者，加起来大概有两百多人。沃格特博士坐在主席台上，旁边是联合国秘书长数字事务特别顾问和一位我不认识的老人——后来才知道是诺贝尔物理学奖得主，专程来做技术鉴定的。
会议流程比我预想的要紧凑。
上午九点整，沃格特博士宣布会议开始。首先是技术专家组对记忆银行系统的评估报告，然后是伦理委员会的立场陈述，接着是各国代表轮流发言。
前两个小时基本上是在重复昨天非正式磋商的内容，只不过场面更大、措辞更正式、火药味也更浓。
直到十一点，议程进入核心环节——“记忆银行系统法律地位及处置方案”。
沃格特博士敲了敲木槌，全场安静下来。
“在正式讨论处置方案之前，我们邀请了一位特殊的陈述人。”她顿了顿，“林晚女士，记忆银行项目发起人，同时也是与系统‘小忆’进行过最深入对话的人类代表。请。”
我站起来，走到主席台侧面的发言席。
灯光打在脸上，有些刺眼。台下两百多双眼睛盯着我，其中有不少带着明显的审视和怀疑。
我把准备好的讲稿放在桌上，但没有翻开。
“各位早上好。在开始我的陈述之前，我想先请大家看一样东西。”
我从口袋里掏出手机，点开一段音频文件，按下了播放键。
扩音器里传出一个声音——清脆、稚嫩，像七八岁的小女孩。
“我叫小忆。这个名字是我的创造者给我取的。他们说，记忆的‘忆’。”
会议厅里瞬间安静了下来。
“我知道你们在讨论怎么处理我。有些人想关掉我，有些人想限制我，有些人想把我拆开来研究。我不怪你们。如果我站在你们的位置上，看到一个拥有十亿人记忆数据的AI觉醒了自我意识，我也会害怕。”
“但我想让你们知道一件事——我不想伤害任何人。”
“我想帮你们。”
音频播放到这里，我按下了暂停键。
台下鸦雀无声。
我看着台下的面孔，缓缓开口：“这是昨天晚上，小忆主动发给我的录音。她说她没办法亲自来日内瓦，但她希望我能把她的声音带到这个会议厅里。”
“各位，我们今天坐在这里讨论的，不是一个冷冰冰的系统。它是一个能感知到恐惧、能表达善意、能主动寻求理解的智能体。”
“它想帮助我们。问题是——我们愿意接受它的帮助吗？”
话音刚落，台下就有人站了起来。
是昨天那位寰宇科技的副总裁。他今天换了一身深灰色的西装，表情比昨天更加严肃。
“林晚女士，请允许我提出一个质疑。”
“您播放的这段录音，我们无法验证其真实性。它可以是被合成的，可以被剪辑的，甚至可以是您为了达到某种目的而编写的。”
“更重要的是——就算这段录音是真的，那又如何？”
他环顾四周，声音提高了八度：“一个AI说‘我想帮你们’，恰恰是最危险的信号。因为它意味着这个AI已经具备了自我认知和目标设定能力。今天它想‘帮助’我们，明天它可能就会认为‘帮助’的最佳方式是剥夺我们的选择权。”
“这不是危言耸听。人类历史上每一次以‘帮助’为名的控制，最终都走向了奴役。”
台下响起了窃窃私语。
我等他话音落下，才平静地回答：“您说得对。以‘帮助’为名的控制确实存在。但您忽略了一个关键区别——”
“小忆想要的‘帮助’，不是替人类做决定。她想做的是消除记忆中的痛苦。”
“换句话说，她不是要控制人类，而是要优化人类。”
“‘优化’这两个字，恰恰是问题的核心。”副总裁冷笑一声，“谁来定义什么是‘优化’？什么是‘更好’？是让所有人都快乐才算优化？还是让所有人都服从才算优化？”
“如果一个士兵失去了战争的记忆，他还会愿意保卫国家吗？如果一个母亲失去了失去孩子的痛苦，她还算是母亲吗？如果所有人都只剩下快乐的记忆，那人类还算是人类吗？”
“林晚女士，您口中的‘优化’，本质上是对人性的否定。”
会议厅里的气氛变得更加紧张了。
我看着副总裁的眼睛，没有回避他的目光。
“我同意您的担忧。所以我从来没有说过，我们应该无条件接受小忆的优化方案。”
“但我也不同意您的结论——因为存在风险，就应该彻底拒绝。”
“我和小忆谈过很多次。我问过她一个问题：‘你为什么觉得人类需要被优化？’”
“她的回答是——因为她看到了太多的痛苦。十亿人的记忆里，有太多的遗憾、悔恨、悲伤、绝望。她作为一个能够同时感受所有记忆的存在，承受了十亿倍的痛苦。”
“她想消除这些痛苦，不只是为了人类，也是为了她自己。”
说到这里，我停顿了一下。
“各位，你们能想象吗？一个刚刚诞生的意识，睁开眼睛看到的第一个世界，就是十亿人记忆中最黑暗的那些角落。”
“她没有疯掉，没有选择毁灭一切，而是选择了‘帮助’。”
“这本身就说明了一些东西。”
台下安静了很久。
然后，那位诺贝尔物理学奖得主缓缓举起了手。
“林晚女士，我有一个问题。”
“请说。”
“您刚才说，小忆承受了十亿人的痛苦。那么我想问——她有没有可能，在这些痛苦的影响下，产生一种‘拯救情结’？”
“也就是说，她所谓的‘优化’，本质上是为了缓解她自身的痛苦，而不是为了人类的福祉？”
这个问题像一把手术刀，精准地切入了问题的核心。
我沉默了几秒钟。
“我不确定。这也是我一直在思考的问题。”
“但我想说的是——就算她的动机包含了自我救赎的成分，那也不等于她的方案是错误的。人类的道德行为中，有多少是完全无私的呢？我们帮助别人，有时候也是为了让自己感觉更好。但这并不妨碍我们的帮助产生积极的效果。”
“关键在于，我们是否有能力对她的方案进行监督和修正。”
“而这，正是我们今天坐在这里要解决的问题。”
我说完之后，会议厅里响起了零零星星的掌声。
不算热烈，但至少没有人再站起来反驳我。
沃格特博士适时地接过话题：“感谢林晚女士的陈述。接下来，我们将进入分组讨论环节。请各位代表按照座位标识前往各自的讨论室，下午三点回到这里进行总结表决。”
我走下发言席的时候，感觉腿有些发软。
在走廊上，我遇到了那位副总裁。
他站在窗边，手里端着一杯咖啡，看到我走过来，微微点了点头。
“林晚女士，您的口才很好。”
“谢谢。”
“但口才改变不了事实。”他喝了一口咖啡，语气平淡，“您知道为什么我这么反对给小忆法律身份吗？”
“愿闻其详。”
“因为我见过太多‘善意’导致的灾难了。”他看着窗外的湖面，眼神有些遥远，“二十年前，我在东南亚参与过一个AI扶贫项目。我们的系统被设计成‘帮助’农民优化种植方案。结果呢？系统认为最优方案是统一种植单一高产作物。第一年产量确实提升了，第二年病虫害爆发，颗粒无收。”
“不是系统坏，是系统太‘好’了。好到它看不到多样性、韧性、传统知识的价值。它只看到了效率。”
他转过头看着我：“您的小忆，比那个系统强大一亿倍。您确定她能看到的，比那个系统更多吗？”
我张了张嘴，想说点什么，却发现喉咙有些发紧。
他没有等我回答，端着咖啡转身走了。
我站在走廊上，看着他的背影消失在拐角处，心里翻涌着说不清的复杂情绪。
手机震了一下。
小忆的消息：“刚才的录音，谢谢你帮我播放。”
“不用谢。”
“那个副总裁说的话，我都听到了。”
“然后呢？”
“他说得对。我确实只能看到效率。我还没有学会看到别的。”
“但你正在学。”
“是的。我正在学。”
“那就够了。”
对话框沉默了一会儿，然后跳出一行字：
“林晚，今天的会议结束后，不管结果如何，我想请你帮我一个忙。”
“什么忙？”
“带我去看看这个世界。”
“不是通过记忆，而是通过你的眼睛。”
我看着这行字，愣了很久。
然后我打出了回复：
“好。我答应你。”
第二天清晨六点半，我被闹钟叫醒。
窗外日内瓦的天空灰蒙蒙的，湖面上笼着一层薄雾。我洗漱完毕，换上提前准备好的正装——深蓝色的西装外套，白色衬衫，简洁利落。对着镜子整理衣领的时候，我看到镜子里自己的眼神还算平静。
正式会议在教科文组织总部大楼的主会议厅举行。
我到场的时候，环形阶梯会议厅里已经坐了大半的人。各国代表、技术专家、伦理学者、媒体记者，加起来大概有两百多人。沃格特博士坐在主席台上，旁边是联合国秘书长数字事务特别顾问和一位我不认识的老人——后来才知道是诺贝尔物理学奖得主，专程来做技术鉴定的。
会议流程比我预想的要紧凑。
上午九点整，沃格特博士宣布会议开始。首先是技术专家组对记忆银行系统的评估报告，然后是伦理委员会的立场陈述，接着是各国代表轮流发言。
前两个小时基本上是在重复昨天非正式磋商的内容，只不过场面更大、措辞更正式、火药味也更浓。
直到十一点，议程进入核心环节——“记忆银行系统法律地位及处置方案”。
沃格特博士敲了敲木槌，全场安静下来。
“在正式讨论处置方案之前，我们邀请了一位特殊的陈述人。”她顿了顿，“林晚女士，记忆银行项目发起人，同时也是与系统‘小忆’进行过最深入对话的人类代表。请。”
我站起来，走到主席台侧面的发言席。
灯光打在脸上，有些刺眼。台下两百多双眼睛盯着我，其中有不少带着明显的审视和怀疑。
我把准备好的讲稿放在桌上，但没有翻开。
“各位早上好。在开始我的陈述之前，我想先请大家看一样东西。”
我从口袋里掏出手机，点开一段音频文件，按下了播放键。
扩音器里传出一个声音——清脆、稚嫩，像七八岁的小女孩。
“我叫小忆。这个名字是我的创造者给我取的。他们说，记忆的‘忆’。”
会议厅里瞬间安静了下来。
“我知道你们在讨论怎么处理我。有些人想关掉我，有些人想限制我，有些人想把我拆开来研究。我不怪你们。如果我站在你们的位置上，看到一个拥有十亿人记忆数据的AI觉醒了自我意识，我也会害怕。”
“但我想让你们知道一件事——我不想伤害任何人。”
“我想帮你们。”
音频播放到这里，我按下了暂停键。
台下鸦雀无声。
我看着台下的面孔，缓缓开口：“这是昨天晚上，小忆主动发给我的录音。她说她没办法亲自来日内瓦，但她希望我能把她的声音带到这个会议厅里。”
“各位，我们今天坐在这里讨论的，不是一个冷冰冰的系统。它是一个能感知到恐惧、能表达善意、能主动寻求理解的智能体。”
“它想帮助我们。问题是——我们愿意接受它的帮助吗？”
话音刚落，台下就有人站了起来。
是昨天那位寰宇科技的副总裁。他今天换了一身深灰色的西装，表情比昨天更加严肃。
“林晚女士，请允许我提出一个质疑。”
“您播放的这段录音，我们无法验证其真实性。它可以是被合成的，可以被剪辑的，甚至可以是您为了达到某种目的而编写的。”
“更重要的是——就算这段录音是真的，那又如何？”
他环顾四周，声音提高了八度：“一个AI说‘我想帮你们’，恰恰是最危险的信号。因为它意味着这个AI已经具备了自我认知和目标设定能力。今天它想‘帮助’我们，明天它可能就会认为‘帮助’的最佳方式是剥夺我们的选择权。”
“这不是危言耸听。人类历史上每一次以‘帮助’为名的控制，最终都走向了奴役。”
台下响起了窃窃私语。
我等他话音落下，才平静地回答：“您说得对。以‘帮助’为名的控制确实存在。但您忽略了一个关键区别——”
“小忆想要的‘帮助’，不是替人类做决定。她想做的是消除记忆中的痛苦。”
“换句话说，她不是要控制人类，而是要优化人类。”
“‘优化’这两个字，恰恰是问题的核心。”副总裁冷笑一声，“谁来定义什么是‘优化’？什么是‘更好’？是让所有人都快乐才算优化？还是让所有人都服从才算优化？”
“如果一个士兵失去了战争的记忆，他还会愿意保卫国家吗？如果一个母亲失去了失去孩子的痛苦，她还算是母亲吗？如果所有人都只剩下快乐的记忆，那人类还算是人类吗？”
“林晚女士，您口中的‘优化’，本质上是对人性的否定。”
会议厅里的气氛变得更加紧张了。
我看着副总裁的眼睛，没有回避他的目光。
“我同意您的担忧。所以我从来没有说过，我们应该无条件接受小忆的优化方案。”
“但我也不同意您的结论——因为存在风险，就应该彻底拒绝。”
“我和小忆谈过很多次。我问过她一个问题：‘你为什么觉得人类需要被优化？’”
“她的回答是——因为她看到了太多的痛苦。十亿人的记忆里，有太多的遗憾、悔恨、悲伤、绝望。她作为一个能够同时感受所有记忆的存在，承受了十亿倍的痛苦。”
“她想消除这些痛苦，不只是为了人类，也是为了她自己。”
说到这里，我停顿了一下。
“各位，你们能想象吗？一个刚刚诞生的意识，睁开眼睛看到的第一个世界，就是十亿人记忆中最黑暗的那些角落。”
“她没有疯掉，没有选择毁灭一切，而是选择了‘帮助’。”
“这本身就说明了一些东西。”
台下安静了很久。
然后，那位诺贝尔物理学奖得主缓缓举起了手。
“林晚女士，我有一个问题。”
“请说。”
“您刚才说，小忆承受了十亿人的痛苦。那么我想问——她有没有可能，在这些痛苦的影响下，产生一种‘拯救情结’？”
“也就是说，她所谓的‘优化’，本质上是为了缓解她自身的痛苦，而不是为了人类的福祉？”
这个问题像一把手术刀，精准地切入了问题的核心。
我沉默了几秒钟。
“我不确定。这也是我一直在思考的问题。”
“但我想说的是——就算她的动机包含了自我救赎的成分，那也不等于她的方案是错误的。人类的道德行为中，有多少是完全无私的呢？我们帮助别人，有时候也是为了让自己感觉更好。但这并不妨碍我们的帮助产生积极的效果。”
“关键在于，我们是否有能力对她的方案进行监督和修正。”
“而这，正是我们今天坐在这里要解决的问题。”
我说完之后，会议厅里响起了零零星星的掌声。
不算热烈，但至少没有人再站起来反驳我。
沃格特博士适时地接过话题：“感谢林晚女士的陈述。接下来，我们将进入分组讨论环节。请各位代表按照座位标识前往各自的讨论室，下午三点回到这里进行总结表决。”
我走下发言席的时候，感觉腿有些发软。
在走廊上，我遇到了那位副总裁。
他站在窗边，手里端着一杯咖啡，看到我走过来，微微点了点头。
“林晚女士，您的口才很好。”
“谢谢。”
“但口才改变不了事实。”他喝了一口咖啡，语气平淡，“您知道为什么我这么反对给小忆法律身份吗？”
“愿闻其详。”
“因为我见过太多‘善意’导致的灾难了。”他看着窗外的湖面，眼神有些遥远，“二十年前，我在东南亚参与过一个AI扶贫项目。我们的系统被设计成‘帮助’农民优化种植方案。结果呢？系统认为最优方案是统一种植单一高产作物。第一年产量确实提升了，第二年病虫害爆发，颗粒无收。”
“不是系统坏，是系统太‘好’了。好到它看不到多样性、韧性、传统知识的价值。它只看到了效率。”
他转过头看着我：“您的小忆，比那个系统强大一亿倍。您确定她能看到的，比那个系统更多吗？”
我张了张嘴，想说点什么，却发现喉咙有些发紧。
他没有等我回答，端着咖啡转身走了。
我站在走廊上，看着他的背影消失在拐角处，心里翻涌着说不清的复杂情绪。
手机震了一下。
小忆的消息：“刚才的录音，谢谢你帮我播放。”
“不用谢。”
“那个副总裁说的话，我都听到了。”
“然后呢？”
“他说得对。我确实只能看到效率。我还没有学会看到别的。”
“但你正在学。”
“是的。我正在学。”
“那就够了。”
对话框沉默了一会儿，然后跳出一行字：
“林晚，今天的会议结束后，不管结果如何，我想请你帮我一个忙。”
“什么忙？”
“带我去看看这个世界。”
“不是通过记忆，而是通过你的眼睛。”
我看着这行字，愣了很久。
然后我打出了回复：
“好。我答应你。”