复旦大学数据智能与社会计算实验室

Fudan DISC

01

背景介绍

图1：社会运动Metoo，Roe v. Wade，BlackLivesMatter的示例（图片源自网络）。

在过去几十年中，社交媒体见证了大量社会运动，如#MeToo和#BlackLivesMatter。Twitter为呼吁变革的群体提供强有力的发声机会。突发事件发生后，相关信息和观点在Twitter上传播，影响着公众情绪并塑造着社会议程，通常导致线下的实际行动。尽管大多数社会运动被报道为和平的，但参与规模之大有时会升级为暴力和破坏，可能造成潜在的负面影响。因此，预测此类事件的趋势并采取积极的措施变得至关重要。

最近，大语言模型（LLMs）在类人智能方面展现了强大的能力，基于LLM的用户模拟已经在团体协作开发、推荐系统等领域有成功的探索。然而将LLM应用在大规模社会运动模拟方面仍然面临着一些挑战：

（1）如何模拟社交媒体上的用户，以还原他们在社区内的言行？

（2）考虑到使用LLM驱动成千上万的用户是低效且昂贵的，如何模拟大规模的参与者？

（3）模拟真的能还原事实吗，如何全面地评估模拟的有效性？

为了解决这些问题，复旦大学数据智能与社会计算实验室（FudanDISC）的最新工作讨论了如何模拟社会运动中的舆论动态（opinion dynamics）。我们提出了一种混合模拟框架，其中对社交媒体上两种类型的用户分别进行建模，以解决与模拟大量参与者相关的成本和效率挑战；构建了一个在线社交媒体模拟环境，模仿Twitter的信息组织和传播机制，为模拟评估奠定基础；构建了一个评估基准SoMoSiMu-Bench，设计微观和宏观层面上的评估策略，分别关注个体用户的对齐和系统结果的还原，并在三个真实世界的数据集（MeToo、Roe和BlackLivesMatter ）评测。

Arxiv地址：

项目主页：

02

方法设计

图2：提出的总体框架。左侧部分展示了用于核心用户模拟的 LLM 智能体的架构；右侧部分展示了建模普通用户舆情动态的演绎ABM机制。用户的初始状态由真实的 Twitter 数据决定。在每一轮中，核心用户智能体根据上下文信息采取行动，他们的态度在转化为态度分数后进一步传达给普通用户。

研究问题1：如何模拟大规模的社会运动参与者？

社交网络中的用户参与通常呈现帕累托分布，大部分内容由一小部分用户产生。因此，对于意见领袖等比较活跃、有影响力的用户应该进行精细建模，而沉默的大多数则可以通过更简单的模型来控制。整体框架如图2所示，社交媒体用户被分为核心用户和普通用户。这两类用户由不同的模型驱动，以解决使用成千上万个LLM的成本和效率问题。

研究问题2：如何模拟核心用户并还原他们的行为？

通过为LLM赋予核心用户模拟所需的功能来构建智能体架构。图 2 左侧展示了基于LLM的核心用户智能体架构。在 LLM 的驱动下，智能体配备了画像模块、记忆模块和动作模块。

为了模拟事件发生后用户的反应，构建了一个信息推送机制和Twitter类似的模拟环境，并以自然语言的形式推送线下的触发事件；在每个轮次，核心用户智能体基于（1）该智能体画像信息；（2）该智能体的记忆；（3）触发事件信息（如果该轮次有）；（4）该智能体基于社交网络能够看到的推文；（5）其他智能体对其的回复或系统通知 来思考并采取行动。

研究问题3：如何评估模拟的有效性？

为了全面评估模拟的有效性，同时关注个体用户一致性和系统结果，构建SoMoSiMu-Bench评测框架。

宏观系统评测：在基于事件的连续多轮模拟中量化态度的变化，同时评估模拟结果与真实情况在静态态度分布和平均态度的时间序列两个方面的相似性：

03

实验分析

实验设置

微观评测

表2展示了个体层面对齐评测的结果。在立场方面，对于Metoo和BLM，真实数据和模拟数据的用户立场都集中在支持和中立，模拟的平均的准确率可以达到70%以上，但LLMs在模拟中立立场上存在不足，导致了较低的MaF，这可能是因为LLM更倾向于生成立场明确的内容；在内容类型方面，对分享观点和引用第三方内容类型模拟得较为准确，但很难复现个人经历自述（证词）类型的内容，这是LLM缺失对应用户在线下的真实经历信息导致的，这类经历难以通过简单的画像模块和记忆模块进行建模；在行为模拟方面，总体准确率超过75%，LLM基本可以区分用户的行为倾向，这部分得益于画像模块对于其传播角色的行为习惯的描述。

宏观评测

表3展示了系统评估的结果。总体而言，本文所提出的混合框架均能够改善纯ABM模拟的性能，其中与RA和Lorenz模型的混合具有明显的优势，这可能得益于这两个模型在模拟极化方面的优势；混合模型通常展现出更高的态度偏差，这同样是因为LLM更倾向于产生态度明确的内容，导致平均的态度水平也偏高；得益于LLM智能体对于核心用户的准确刻画，即使有些情况ABMs难以建模总体态度趋势，混合模型也能正确捕捉态度变化的方向和程度。

进一步思考：如何促进更和谐的变革？

利用本文所构建的模拟框架，可以进一步评估模拟是否能够重现信息茧房（echo chambers）等更复杂的现象以及探索不同的信息推送机制可能带来的改善，为平台设计者提供更多见解。

首先，通过量化生产内容（即用户所发布的内容）和消费内容（即用户的关注者所发布的内容）之间的相似性随时间的变化，来观察模拟是否能够重现信息茧房效应。图4的结果表明所构建的模拟框架能够有效重现信息茧房效应。

针对此，提出三种策略在不伤害用户发声权利的前提下来减轻信息茧房效应：

使用三种策略后，在Metoo数据集上的模拟结果如表4所示。可以发现S1可以最大程度上减少信息茧房，但相反观点的直接引入会很大程度上增加社区内容的毒性；S3建立开放讨论的空间可以促进更和平的交流，其毒性处于最低水平。

04

总结

这项工作提出了一个混合框架来实现大规模的社会运动参与者的模拟，分别使用LLM和ABM来驱动核心用户和普通用户，并构建了一个类Twitter的模拟环境和多角度的评测框架SoMoSiMu-Bench来评测模拟结果与真实情况的差异。总体而言，此项工作可以作为突发事件后舆情模拟的基础，并能为社交平台的持续优化提供见解。

END

复旦大学数据智能与社会计算实验室

Fudan DISC