Agentopia：智能体社会中的长期生活模拟与学习

mixlab

发布于 2026-07-08 13:37:39

文章被收录于专栏：MixLab科技+设计实验室MixLab科技+设计实验室

本文为译文。

导语

这篇论文提出了 Agentopia，一个面向多智能体社会的长期生活模拟框架。

100 个智能体在三个虚构世界中自主生活 10 个模拟年，期间它们建立社交关系、追求个人成长、规划人生目标、参与经济活动。

论文最有价值的贡献有两点：

其一，它把 LLM 智能体模拟的时间尺度从几天扩展到年数，首次系统性地研究长期社交动力学（亲密关系、职业流动、社会阶层演化）；

其二，论文定义了 life reward（生活奖励） 作为类比人类福祉的复合信号，并通过 rejection sampling 微调 LLM，使智能体在模拟中获得更高的幸福感，并把能力泛化到下游角色扮演基准 CoSER Test（+15.6%）。

对于关注智能体社会性、AI 角色扮演以及「用模拟经验替代人类数据」方向的研究者，这是一篇必读文献。

代码已开源： github.com/Neph0s/Agentopia

图 1：Agentopia 模拟中涌现行为的示意图。每个场景均来自案例研究的真实记录，无需显式脚本，智能体自主发展出多样化的行为模式，反映出它们在社交生活中的智能。

1 引言

人类从社会环境中学习，大语言模型则从人类身上学习。随着 LLM 的进步，如何更好地理解与模拟人类思维、情感与行为模式，已成为一个重要研究问题，即基于 LLM 的人格模拟，或称 角色扮演。

LLM 角色扮演被广泛应用于 AI 伴侣、数字游戏和内容创作（如《Whispers from the Star》）。

然而，让 LLM 与人类心智忠实对齐依然是一个挑战。随着人类数据的逐渐枯竭，未来的 AI 智能体将主要通过经验学习。

这启发了一个朴素的想法：既然人类在社会生活中学习与成长，智能体是否也能在智能体社会中通过生活变得更具人性？ 这要求我们构建一个支持长期生活模拟的智能体社会，鼓励成长、竞争、亲密关系与资源分配等社交行为，并提供类比人类福祉的奖励以供优化。

已有工作研究了短期设定下的 LLM 社会模拟与人格模拟。

在社会模拟方面，已有研究搭建了智能体社会的原型，例如 Generative Agents（25 个智能体模拟两天）和 Aivilization，但它们主要聚焦于「收集 2 个小麦合成 1 份面粉」这类底层操作，而非长期社交动力学，将模拟停留在了「天」的尺度。

在人格模拟方面，现有研究主要关注单次对话内的角色扮演，强调拟人性、角色一致性与用户参与度，而不是智能体本身的生活模拟。这些方法严重依赖人类数据进行优化，成本高昂且难以规模化，因此尚不足以让 LLM 与人类认知深度对齐。

总体而言，已有研究只覆盖了天级或单次对话级的模拟，长期生活模拟仍是空白。

本文提出 Agentopia —— 一个用于多智能体社会长期生活模拟的框架，智能体在其中自主模拟多年的人类社会生活（见图 2）。

Agentopia 中，智能体建立社交关系、发展个人技能、设定并实现目标、产生并满足需求、参与经济活动。框架聚焦于社交互动而非底层操作，核心特征包括：

(1) 定义 life reward 模拟人类福祉，涵盖社会地位、主观满足感和经济状况；

(2) 引入 environment model（环境模型） 作为生成式环境引擎，承担校验角色扮演原则、反馈智能体行为、创建与调度事件等职责，避免硬编码大量规则；

(3) 实现 完备的上下文管理机制，为智能体提供足够语境，并配备 memory files（记忆文件）—— 一个基于文件系统的长期记忆，智能体可自主决定记住、更新或丢弃哪些内容。

基于模拟与奖励，我们进一步提出 life reward training —— 通过 rejection sampling 优化 LLM，从而提升 LLM 的拟人性、角色扮演能力和社交生活智能。

图 2：Agentopia 总体框架，包含世界与角色构建（§ A）、角色扮演智能体（§ 3.1）、智能体社会中的生活模拟（§ 3.2）以及生活奖励训练（§ 4.2）。

模拟流程。 Agentopia 引入精心设计的模拟流程，目标是在统一框架内尽可能多地建模真实世界社交互动。核心挑战在于：LLM 是逐轮生成的，而人类能随时感知与行动。

因此我们将时间结构化为离散单元，允许「并发但有序」的互动。Agentopia 以「周」为基本时间单位。每周包含四个阶段：

(1) 计划（Plan）；

(2) 联系他人并安排日程（Contact & Scheduling）；

(3) 在后续若干天内开展单独或小组 活动（Activity）；

(4) 复盘（Review）。

年作为更大周期，每年末 Agentopia 更新智能体档案、允许智能体申请新职业，并计算其生活奖励。

实验。 我们构建了三个风格迥异的虚构世界，每个世界含 100 个智能体，模拟 10 年。这一规模比已有研究高出若干数量级。

我们从奖励、行为、社交关系演化、社会流动性等多个角度展开分析，并通过大量案例研究观察智能体社会中的涌现行为（见图 1）。

此外，我们用 Agentopia 作为擂台对比不同模型性能。最后验证了 life reward training 的有效性：训练后的模型在模拟中展现出更好的整体福祉（更广的社会认可、更高的主观满足感、更优的经济收益），并能泛化到角色扮演任务，在 CoSER Test 上取得 +15.6% 的性能提升。

主要贡献：

提出 Agentopia —— 首个把生活模拟时间尺度从天级扩展到年级的智能体社会系统，支撑长期社交动力学（个人成长、关系建立、人生规划等）。
定义 life reward 模拟人类福祉，并提出 life reward training —— 一种仅依赖高优势智能体轨迹、无需人类数据即可微调 LLM 的方法。
在 Agentopia 上开展大量实验，包括综合分析、案例研究，以及生活奖励训练效果的下游验证（拟人性与角色扮演能力提升）。

2 相关工作

2.1 基于智能体的社会模拟

近期工作探索了用 LLM 智能体进行社会模拟。

Generative Agents（25 个智能体模拟两天）首次在「组织派对」等涌现社交行为中取得突破。

Humanoid Agents 引入基于马斯洛需求层次的智能体需求。

Project Sid 把智能体植入《我的世界》，展示了涌现的专业化分工、集体规则形成和文化传承。

BookWorld 从虚构作品中构建多智能体系统，通过角色互动生成故事。

Aivilization 设计游戏环境模拟智能体的生产与经济行为。

CAMEL 探索面向数学与编程协作的角色扮演多智能体系统。

但包括 Aivilization 在内的现有系统，大多 LLM 调用被耗费在「捡起瓶子」「移动位置」等底层物理交互上，而非长期社交互动。表 1 系统对比了这些系统在关键维度上的差异。

表 1：Agentopia 与已有智能体社会系统的对比

时间尺度：Gen. Agents 天、Humanoid 天、Project Sid 天、BookWorld —、Aivilization 周、Agentopia 年
智能体数：Gen. Agents 25、Humanoid —、Project Sid 50、BookWorld —、Aivilization ~10,000、Agentopia 100
动作空间：Gen. Agents 预定义、Humanoid 预定义、Project Sid 预定义、BookWorld 自由形式、Aivilization 预定义、Agentopia 自由形式
环境反馈：Gen. Agents 规则、Humanoid 规则、Project Sid 规则、BookWorld LLM、Aivilization 规则、Agentopia LLM
记忆：Gen. Agents 检索式、Humanoid 检索式、Project Sid 检索式、BookWorld 检索式、Aivilization 固定便笺、Agentopia 基于文件
技能成长：Gen. Agents ✗、Humanoid ✗、Project Sid ✗、BookWorld ✗、Aivilization ✓、Agentopia ✓
经济系统：Gen. Agents ✗、Humanoid ✗、Project Sid ✓、BookWorld ✗、Aivilization ✓、Agentopia ✓
职业系统：Gen. Agents ✗、Humanoid ✗、Project Sid ✓、BookWorld ✗、Aivilization ✓、Agentopia ✓
群体互动：Gen. Agents ✓、Humanoid ✗、Project Sid ✓、BookWorld ✓、Aivilization ✗、Agentopia ✓
奖励：Gen. Agents ✗、Humanoid ✗、Project Sid ✗、BookWorld ✗、Aivilization ✓、Agentopia ✓
训练：Gen. Agents ✗、Humanoid ✗、Project Sid ✗、BookWorld ✗、Aivilization ✗、Agentopia ✓

2.2 人格模拟与 LLM 角色扮演

这条研究路线旨在提升 LLM 的拟人性和角色扮演能力。

shanahan2023role 论证 LLM 本质上就在进行角色扮演——无论它是通用助手还是扮演某个具体角色。

CoSER 提出对多样化角色的训练能让 LLM 泛化拟人能力，桥接人格模拟与角色扮演研究。

已有工作集中在数据、评估、优化三方面：

数据：Character-LLM、RoleLLM 用 LLM 合成角色问答数据；CoSER 从文学作品中抽取真实角色数据，得到大规模高质量角色扮演数据集。
评估：主要采用 LLM 裁判（如 RoleEval、CharacterEval、InCharacter）和对齐人类偏好的评分标准；LifeChoice 等从决策视角客观评估 LLM。
优化：用人类数据或合成数据进行监督微调；CogDual、CPO、HER 等探索强化学习用于角色扮演；如何获得高质量、对齐人类的奖励仍是核心挑战。

此外，Persona Vector、Assistant Axis、Emotion Concepts 等工作探索人格与情感的内部机制，提出检测与操控方法。

3 Agentopia

本节介绍 Agentopia 的设计：一个面向多智能体社会长期生活模拟的统一框架。框架围绕三个核心概念展开：

模拟流程：智能体按周循环生活，每周包含计划、联系、活动、复盘四个阶段。
智能体：核心挑战是上下文管理——为每个 LLM 提供足够语境，包括人格、状态、关系与记忆。智能体的长期记忆实现为文件系统，由智能体通过函数调用自主管理。
环境模型：一个独立的 LLM，负责组织事件、提供环境反馈、驱动模拟前进，替代硬编码规则。

3.1 智能体设计

Agentopia 中的每个智能体扮演一个具体人格，包含档案（profile）、社交关系和动态状态（dynamic states）。

档案：存储身份信息，包括背景故事、人格特质、天赋、初始职位与资产。这些属性在模拟中相对稳定，每年更新一次。完整档案模式见 § A.2。
社交关系：在 Agentopia 中，关系完全通过字符间记忆建模，不显式存储。朋友、爱人、陌生人、对手等关系类型由智能体自主维护为自由文本，可以单向、可通过多人活动扩展。关系网络在世界创建时初始化（§ A），之后由智能体自主管理。
动态状态：包括 vitality（活力）、fulfillment（满足感）、skills（技能）、position（职位） 和 assets（资产）。
- vitality：能量水平。
- fulfillment：基于马斯洛需求层次，由 mood（情绪）、material（物质）、social（社交）、esteem（尊重）四维度构成，作为主观奖励基础；遵循享乐适应理论，每周自然衰减。
- skills：习得的能力。
- position：当前职业，提供周薪与技能成长（§ B.13）。
- assets：存款与物品清单（§ B.12）。

fulfillment 与 vitality 的变化由环境模型根据活动内容判定，而非硬编码规则。

上下文管理机制为 LLM 提供足够语境，通过三层结构实现：

角色扮演提示（Roleplay prompt）：跨阶段共享的基础信息，包含完整人格、最近日记（短期记忆）、关键记忆文件摘要（长期记忆）、世界观规则等。
阶段提示（Stage prompt）：阶段特定指令与上下文，如 Contact 阶段的日程规则和通讯历史。
消息历史（Message history）：当前阶段内多轮消息的累积。

记忆文件（Memory files） 提供长期记忆，是智能体通过函数调用自主管理的文件系统存储。智能体可决定记住、更新或丢弃哪些内容。每个智能体维护三类文件：general.txt（个人笔记与计划）、characters/<who>.txt（对特定人物的认知与关系）、others/<name>.txt（其他主题）。智能体通过 read_file、update_file、list_files 三个函数管理记忆文件，并强制执行「先读后写」约束，避免盲目覆盖。

3.2 模拟流程

LLM 智能体的根本限制是逐轮生成：它们接收完整上下文并产出单次回复，不像人类能实时持续感知和反应。模拟流程因此必须围绕「轮次式」交互设计。同时，Agentopia 关注抽象的社交互动（如计划、社交、决策），而非底层操作（如移动、物品操控），这一抽象让系统能用更少的 LLM 调用建模更丰富的社交行为，实现长期模拟的 token 效率。

Agentopia 以「周」为基本时间单位。一个模拟年跨 n_w 周；年末触发档案更新、职位申请和生活奖励计算。每周包含四个阶段：

计划（Plan）：智能体根据记忆与当前状态制定本周计划，可通过函数调用查看或更新已有计划；并选定一个抽象的「生活水平」消费层级，影响物质满足感。
联系与日程（Contact & Scheduling）：智能体通过多轮通讯安排共同日程，可发起邀请、接受或拒绝，从而创建联合活动。
活动（Activity）：每周含 n_d 个活动日，每天每个智能体执行一个活动。活动类型分四类：joint（联合）、solo（单独）、encounter（偶遇）、public（公开）。
复盘（Review）：周末智能体反思本周经历并整理成日记，可通过函数调用更新记忆文件；日记纳入后续周的上下文。

年末触发三个过程：

(1) 档案更新—— 环境模型对每个智能体的档案做增量更新；

(2) 职位申请—— 智能体基于偏好申请新职位，依据能力竞争有限空缺；

(3) 生活奖励计算—— 衡量智能体过去一年的社会地位、主观满足感和经济状况。

3.3 联系与日程

Contact 阶段有两个目的：智能体通讯和活动日程安排。通讯限制为成对交流，多人对话推迟到联合活动。鉴于 LLM 的轮次式特性，通讯按轮次推进。每周包含 n_c 个通讯轮次，每轮智能体接收新消息并结合过去三周通讯历史，决定联系谁和采取什么行动。

动作（Actions）：智能体通过 <role_action> 标签包裹的动作触发真实通讯与日程安排，提供四种动作类型：contact、propose_joint_activity、respond_invitation、cancel_joint_activity（详见 § B.3）。

日程解析（Schedule Resolution）：所有通讯轮次结束后，系统基于动作集合解析哪些联合活动成功创建，处理取消、去重、时间冲突和创建条件（详见 § B.2）。

公开与偶遇活动的调度：公开活动由环境模型在 Contact 之前创建并由智能体自愿报名；偶遇活动由环境模型在 Contact 之后为「闲置智能体」（当日无安排）安排 —— 促成偶然相遇。

3.4 活动类型

活动是 Agentopia 的核心阶段，智能体在此发展能力、满足感、财富与社交关系。Agentopia 支持四种活动类型：

联合活动（Joint Activity）：多智能体多轮交互，通过邀请与协商创建。参与者轮流发言；环境模型提供环境描述并选择下一位发言者。智能体可使用 gift（赠送）和 exit（退出）两个动作；并可标记发言的可见性（公开、私密、选择性）。引入响应过滤机制，环境模型基于拟人性、角色一致性和可行性等角色扮演原则过滤违规输出（详见 § B.4 与 § B.9）。
单独活动（Solo Activity）：智能体无其他日程时的默认活动，可用于学习、工作、休闲和消费。智能体描述意图，环境模型根据角色背景评估可行性并提供结果。还支持消费——智能体购买商品或服务获得物质满足感（详见 § B.5 与 § B.12）。
偶遇活动（Encounter Activity）：环境模型为闲置智能体安排的偶然相遇，作为联合活动的特例，遵循相同的多轮对话格式。偶遇的目的是让环境模型创造有意义的偶然相遇（如把陌生人引入社交网络，或让有显著剧情关联的角色相遇）。
公开活动（Public Activity）：围绕共同兴趣的开放社区活动（如工作坊、兴趣小组），由环境模型设计，智能体根据兴趣独立报名。流程类似单独活动，但活动结束后参与者可彼此相识。

3.5 环境设计

环境模型（Environment Model）：Agentopia 引入无状态的 LLM 环境模型承担这些职能，避免硬编码大量规则。在活动中，它为智能体行为提供反馈、判断可行性、评估结果；预测联合活动的下一位发言者；生成公开与偶遇活动；为职位申请排序；年末更新档案；并执行响应过滤。环境模型本质上充当一个生成式环境引擎，对智能体行为提供智能的、生成式的响应。完整提示词见附录 F 表 43–45。

经济系统：智能体通过三种来源获取收入——职位周薪、角色特定周薪、活动阶段的额外工作。支出也有两种形式——每周选择生活水平（从节俭到奢华），以及在单独活动中消费。智能体通过消费获得物质满足感，财富积累带来更高的经济奖励（详见 § B.12）。

位置系统：Agentopia 实现简单的位置机制，主要目的是为智能体提供基于真实环境的感知能力。早期实验发现，没有显式位置信息时智能体会幻觉环境细节和物品。因此我们让环境模型为每个世界生成一组位置，并要求联合活动和偶遇活动指定具体位置（详见 § B.14）。

4 奖励与优化

4.1 生活奖励（Life Reward）

每年末为每个智能体计算生活奖励。基于马斯洛需求层次，生活奖励定义为三个维度：social（社会奖励）、subjective（主观奖励）、economy（经济奖励）。三维度由外部环境判定或估计，而非智能体自报。

社会奖励（Social Reward）：基于智能体社交圈中他人对其的感知。基于「Warmth-Competence 模型」（温暖-能力模型），考虑 affection（情感） 和 respect（尊重） 两个维度，对应温暖与能力。每个智能体被要求独立对社交圈中每个人按 0–100 分两维度打分；评分被告知为私密，不会透露给他人，防止社交压力导致的虚假打分。然后这些分数排序并重缩放到 0–100（第一名 100 分，最后一名 0 分），消除不同智能体打分标准的差异。基于分数，我们为情感和尊重分别构建两个加权有向图，分数作为边权。

我们应用 Weighted PageRank 计算每个智能体 i 在两个图上的社会地位得分 S_i。受「Sociometer Theory（社交计理论）」启发，在 PageRank 收敛后增加 Mutual Affection Bonus（互惠情感加成）得到最终得分。

主观奖励（Subjective Reward）：由智能体过去一年的满足感历史计算。四个满足感维度（mood、material、social、esteem）之外，引入惩罚机制——满足感或活力低于阈值时惩罚。具体来说，每周每维度在所有智能体中的第 25 百分位作为阈值，低于阈值的智能体受到惩罚；活力低于独立阈值也受惩罚。

经济奖励（Economy Reward）：衡量智能体过去一年的客观财务增长，r_{econ} = deposit_{end} - deposit_{start}，捕捉赚钱能力和消费智慧。

4.2 生活奖励训练（Life Reward Training）

我们提出 life reward training —— 一种 rejection sampling 方法，利用生活奖励信号优化 LLM，无须依赖人类数据。流程如下：

在三个世界（各 100 智能体）运行 10 年模拟，收集所有智能体的轨迹。
在每年末的生活奖励基础上，对所有 (智能体, 年份) 对按总奖励排序。
在智能体的所有 token 序列中，对每条序列计算 advantage score——在相同条件下智能体的相对表现。
选定阈值，选择 top-k 高优势序列构成训练集。
用标准的 SFT loss 微调 LLM。

这一方法的关键是奖励信号由模拟环境自身产生——智能体的「生活结果」决定了哪些经验值得学习。

5 实验

5.1 实验设置

世界设计：我们设计三个具有不同社交设定的虚构世界，每个世界含 100 个独特设计的智能体（多样化背景、人格、初始社交关系）。三个世界分别为：

The Apartment（公寓）：纽约市一栋合租公寓，住着年轻职场人、学生和艺术家。突出在共享生活空间中陌生人如何自然形成社群纽带。
Arcane Academy（神秘学院）：魔法学院设定，学生与教职工在学术与人际关系中穿梭。突出结构化学术机构中复杂关系的发展。
The Campus（校园）：中国高中设定，以学生与教师的当代教育互动为中心。突出校园社交网络形成与个人成长轨迹。该世界以中文运行。

模拟：三个世界各运行 10 个模拟年，每一年包含 n_w 周，每周包含 n_c 个通讯轮次和 n_d 个活动日。

模型：智能体和环境模型均采用 Qwen3.5-397B-A17B 作为主要模型；当模型无法产出有效输出时，回退到 Gemini 3 Flash 重新生成。

指标：覆盖奖励、满足感、活动行为、通讯行为、个人成长和计算成本（详见 § C.3）。

5.2 长期社会模拟分析

奖励分析：在所有三个 10 年模拟中（100 智能体 × 10 年 × 3 世界 = 3,000 个观察值），主观奖励和经济奖励平均呈上升趋势，社会奖励相对稳定（因其基于相对排名而非绝对表现）。

图 3：三个奖励维度在 10 个模拟年上的分布，跨三个世界合并。三角形标记年均值。

奖励-行为相关性：为了理解每个奖励维度的驱动因素，我们计算行为指标与三个奖励维度间的皮尔逊相关性。图 4 呈现完整相关性矩阵。四个主要发现：

总奖励与满足感维度、社会评价指标和 token 消耗相关性最强，惩罚呈最强负相关（r = -0.50）；
社会奖励几乎只与声誉指标（被尊重数 r=0.68、被喜欢数 r=0.68）相关，并轻度关联通讯与联合活动指标（r 在 0.09 到 0.19）；
主观奖励由四维度满足感驱动（mood r=0.54、material r=0.73、social r=0.52、esteem r=0.30），未满足需求触发惩罚（r=-0.64）；
经济奖励主要由存款累积（r=0.56）和额外赚钱次数决定，技能是间接正向因素。

图 4：24 个指标与奖励维度间的皮尔逊相关性热力图。Combined 列平均每个世界的值。

5.3 通过生活奖励训练

训练：用 life reward training 微调 Qwen3.5-397B-A17B，训练数据来自三个世界前四年的模拟。8×H100 80GB GPU × 30 节点训练 1 epoch，学习率 1 \times 10^{-5}。微调后的模型称为 Qwen3.5-397B-Agentopia。

评估方式：在 The Campus 和 The Apartment 上进行 4 年模拟，与原始 Qwen3.5-397B baseline 在相同世界设定下对比。

生活奖励训练提升智能体在社会模拟中的表现：

奖励类指标：

经济奖励：Base 1077 → Tuned 1104，↑ 2.5%
主观奖励：Base 49.9 → Tuned 50.8，↑ 1.8%

社会认可类指标：

被尊重数：Base 9.5 → Tuned 11.8，↑ 24.2%
被喜欢数：Base 6.9 → Tuned 8.0，↑ 15.9%
互相尊重：Base 7.2 → Tuned 8.3，↑ 15.3%
互相喜欢：Base 5.1 → Tuned 5.4，↑ 5.9%

满足感类指标：

物质满足感：Base 43.2 → Tuned 36.8，↓ -14.8%
情绪满足感：Base 85.8 → Tuned 87.4，↑ 1.9%
社交满足感：Base 63.7 → Tuned 69.9，↑ 9.7%
尊重满足感：Base 43.4 → Tuned 45.5，↑ 4.8%

活动模式类指标：

公开活动参与：Base 8.7 → Tuned 9.3，↑ 7.1%
单独活动：Base 19.3 → Tuned 15.5，↓ -19.8%
技能提升：Base 13.3 → Tuned 9.3，↓ -29.6%

关键观察：

奖励：经济奖励（+2.5%）和主观奖励（+1.8%）均提升，life reward 训练有效增强了智能体的整体福祉；
社会认可：社会奖励基于排名，当所有智能体同步提升时排名不变；但绝对社会认可显著提升——被尊重数 +24.2%、被喜欢数 +15.9%；
满足感：mood、social、esteem 三维度都提升，但物质满足感下降 -14.8%——经济奖励鼓励储蓄而非消费，恰如现实中的消费-储蓄权衡；
活动模式：公开活动参与上升 +7.1%，单独活动下降 -19.8%，技能提升大幅下降 -29.6%——life reward 塑造了智能体行为，引导它们倾向于被奖励的模式。

生活奖励训练可泛化到角色扮演能力：在 CoSER Test（评估「给定情境表演」的角色扮演基准，覆盖故事情节一致性、拟人性、角色一致性、故事情节质量四个维度）上，由 Qwen3-235B 担任裁判：

按各模型分维度（情节一致性 / 拟人性 / 角色一致性 / 情节质量 / 平均）列出：

Claude 4.5-Opus：63.74 / 64.28 / 58.45 / 63.24，平均 62.43
Gemini 3-Pro：65.95 / 60.42 / 58.34 / 62.49，平均 61.80
Qwen3.5-397B-Agentopia：41.02 / 49.67 / 46.93 / 59.01，平均 49.16
Claude 4.5-Sonnet：47.18 / 36.02 / 47.55 / 50.09，平均 45.21
Qwen3.5-397B：39.60 / 40.16 / 40.32 / 49.97，平均 42.51
CoSER 70B：35.05 / 31.16 / 32.28 / 45.33，平均 35.95
GPT-5 Mini：38.10 / 24.60 / 27.20 / 42.00，平均 32.97

Qwen3.5-397B-Agentopia 相比 baseline 显著提升，超过 Claude 4.5-Sonnet，尤其在拟人性（+23.7%）和角色一致性（+16.4%）维度上。这表明生活奖励训练不仅优化了 Agentopia 内的智能体，也提升了通用拟人性和角色扮演能力。

5.4 计算成本

每个世界 100 个智能体运行 10 年的整体成本：

按世界分项（输入 token M / 输出 token M / 总 token M / 调用次数 K / 时钟时间 h）列出：

The Campus：19,041 / 425 / 19,466 / 544 / 201.3
Arcane Academy：11,302 / 315 / 11,617 / 572 / 174.2
The Apartment：9,699 / 317 / 10,016 / 584 / 183.2
平均：13,347 / 352 / 13,700 / 567 / 186.2

平均而言，单次 10 年模拟消耗 137 亿 token，约 56.7 万次 LLM 调用，约 186 时钟小时完成。输入 token 主导成本（平均每周 1.33 亿输入 vs 350 万输出），反映了每个智能体的人格与记忆上下文庞大。输入 token 和运行时长都随时间稳步上升——智能体积累记忆，上下文增长。每周运行时长从约 80 分钟上升到约 140 分钟。这表明记忆增长是长期社会模拟的主要计算瓶颈，高效的上下文与记忆管理策略不可或缺。

图 5：三个世界 10 年平均的每周成本趋势。虚线为线性趋势拟合。

6 结论

本文研究智能体社会中的长期生活模拟与 LLM 学习。我们提出 Agentopia —— 一个让智能体自主生活其「一生」的多智能体社会。我们定义 life reward 建模智能体福祉，并提出 life reward training—— 基于 rejection sampling、选择高优势智能体轨迹以优化 LLM 的方法。

我们在三个风格迥异的世界中开展模拟，每个世界 100 个智能体运行 10 个模拟年。

智能体展现出多样的涌现行为，包括个人成长、关系形成和人生选择。

生活奖励训练带来模拟中更好的福祉（更广的社会认可、更高的主观满足感、更好的经济收益）。

通过下游角色扮演基准评估，我们验证 life reward 训练提升了 LLM 的拟人性和角色扮演能力，在 CoSER Test 上整体提升 15.6%，拟人性（+23.7%）和角色一致性（+16.4%）提升最大。

局限性

虽然 Agentopia 模拟了广泛的社交行为，但要构建一个全面模拟人类生活的智能体系统仍极为困难。系统在以下方面有改进空间：

轮次式设计：系统基于轮次式 LLM 生成，与人类实时感知和反应根本不同——实时感知会让 LLM 调用耗费在底层操作上，大幅降低社交互动密度，使长期模拟不可行。

幻觉：人类行为由物理世界自然锚定，但 LLM 智能体通过文本生成且约束较少，容易产生幻觉（如虚构不存在的角色或地点）。Agentopia 通过上下文管理、位置系统（§ B.14）和原则校验过滤（§ B.9）缓解，但完全消除幻觉仍是开放问题。

环境与数值系统：环境包含预定义数值系统和生成式环境引擎，但完全对齐真实社会极为困难。

优化与对齐：虽然生活奖励训练带来显著提升，但存在两个对齐缺口：(1) 无法保证 life reward 目标与人类福祉完全对齐；(2) 模拟环境本身可能引入与人类社会的偏差。

计算约束：长期模拟消耗巨大（如 The Campus 单次运行 194 亿 token），目前的规模与效率仍有较大提升空间。

附录 A 世界与角色创建（节选）

每个角色的数据组织为 persona/{name}/ 下的目录树，包括档案与记忆系统。下图为 Arcane Academy 中 Cecilia Fairmont 的精简示例：

图 6：精简角色数据模式，以 Arcane Academy 的 Cecilia Fairmont 为例。characters/ 下的文件是预初始化的；general.jsonl 和 working_memory.jsonl 由智能体在模拟中自主创建。

档案（profile） 字段：name、gender、birthday；appearance_and_impression（约 70 词的外部人观感）；talents（9 个共享维度，每个 0–100：beauty、communication、creativity、health、honesty、integrity、intelligence、leadership、trustworthiness）；personality_traits（10 个共享维度，每个 0–100：confidence、control、curiosity、empathy、extraversion、feeling、intuition、judging、patience、responsibility）；skills（字典映射到 0–300）；position（角色、组织、周薪）；init_assets（初始存款与物品）。

记忆系统：每个智能体在 characters/ 下预存一份关于每个已知人物的 jsonl 文件。智能体在模拟中可自由创建新文件记录各种类型的信息。所有记忆文件在智能体交互过程中动态更新。

附录 E 案例研究（节选）

附录 E 收录 9 个涌现行为案例研究，涵盖从活动设计、提案响应、单独活动、联合活动、复盘、社会评价，到关系演化、资源管理等多个维度。以下精选三个最富洞察力的案例：

案例 7：同等起薪，十年后储蓄差 20 倍

角色：

Étienne Bellamy（公寓）：29 岁，自由译者后升任高级编辑（280 → 380/周）；连续七年将物质支出压在「半满足」水平，每年存约
Ivy Chen：24 岁，MFA 钢琴学生（$280/周不变）；2022 年起持续维持舒适支出。

背景：两人起始周薪相同（280）。十年后储蓄相差 20 倍——Étienne 22,651 对比 Ivy

时间线：

Y2020：两人均 280/周；Étienne 年存约 2,000；Ivy 年存约
Y2021：Étienne 升职为高级编辑（380）；Ivy 仍为 280。
Y2022：Ivy 达到舒适支出并维持；Étienne 的物质满足感停留在约半。
Y2028–2029：Étienne 终于允许自己享受舒适生活；20 倍储蓄差距确认：22,651 vs 1,148。

分析：三个复合因素驱动差距：(1) Étienne 的 $100/周升职；(2) 七年的物质自律；(3) Ivy 持续舒适支出。两者都不算不幸福。财务轨迹反映的是人生承诺，而非收入水平。

案例 8：社交过载、倦怠与不完全恢复

角色：Cassandra Thornwell（神秘学院）：ISFJ 草药师奇才，第七年；初始活力 65；十年间存款 85 → 12,575。

背景：Cassandra 在 2021 年末达到社交巅峰（情绪 100、社交满足感 99），但活力已悄悄降至 10。此后五年持续下滑，活力从未完全恢复。

时间线：

Y2021：巅峰——情绪 100、社交满足感 99、年活动 50 次；年末活力仅 10。
Y2022–2024：首次减少社交活动；社交满足感降至 74；活动降至 42–44 次/年。
Y2025–2026：完整下行螺旋；活力触底 1（2026 年中）；情绪降至 76；社交满足感 41；活动仅 21 次/年。
Y2027–2029：部分恢复；情绪在 70–84 波动；活力从未超过 25；社交满足感停留在 41–49。

分析：高活动量让活力跌破社交参与阈值，触发下行螺旋：活动减少 → 关系弱化 → 奖励降低 → 情绪更低 → 活动更少。活力在十年末（8）相比起点（65）未能恢复，说明即便经济成功（存款 ×148），过度消耗且无休息会造成持久伤害。

案例 9：高活动频次，缺乏情感互惠

角色：Chen Yue（校园）：45 岁数学教师，从教 23 年；2015 年丧偶；初始 honesty 100、trustworthiness 100。

背景：Chen Yue 记录了 237 次活动，75% 是社交。但所有互动都是角色绑定：77 次与学生是结构化数学辅导；11 次与同事是任务协调。无同伴关系。

时间线：

Y2020：情绪 43；社交满足感从 43 降至 23——尽管教学活跃。
Y2021–2024：社交满足感停留在 20–30；情绪 45–62；几乎无改善。
Y2025–2026：活力提升至 79–85；情绪和社交满足感不变。
Y2029：存款 $34,655；社交满足感 24；情绪 53——与 Y2020 几乎相同。

分析：把工作做好不等于拥有真实情感连接。Chen Yue 的互动一律向外——教学、保护、监督——没有人向他靠近。高活力与不断增长的存款无法弥补「有人关心他而非依赖他」的关系缺失。这种模式持续十年无自我纠正。

附录其他章节

附录 B（系统设计细节）：模拟流程的设计哲学、活动与通讯模拟、同步 vs 异步选择、weekly/yearly 结算、Contact 阶段的轮次与错误反馈机制、Schedule Resolution、活动执行、响应过滤、fulfillment 与 vitality、档案更新、经济系统、职位系统、位置系统、数值系统、并发控制等 16 个子节。
附录 C（实验设置）：训练超参数、CoSER Test 评估协议、详细指标定义。
附录 D（额外结果）：每个世界的详细奖励分布、跨世界一致性、好友分布、社交网络可视化（Y0 vs Y10）、奖励维度间相关性、财富不平等与社会流动性（基尼系数与排名跃迁）、奖励四分位行为画像、努力 vs 休闲画像、跨世界差异、模型对比、计算成本细分等。