布客小说 Agent 计划正式启动
观察了一年多,我可以确定的说,多数写手不会用 AI 写小说,根本原因有两点。
(1)不会使用Agent
Agent 简单来说是一组提示词以及LLM交互流程。大多使用工作流软件编排或者直接使用编程语言实现。
然而搜索Arxiv,小说Agent的研究少之又少。市面上的辅助写作软件还停留在简单生成章节和续写几个少数功能,完全无法全自动化。多数写手还停留在对话框一问一答的方式,这样无法形成有效的检测修复循环机制,无法进一步提升文章质量。
检测修复循环带来的文章质量提升是毋庸置疑的。举个例子,在我的项目中,分章(https://github.com/DracoUnion/BookerGptTool/blob/master/BookerGptTool/resplit_pmt.py)和翻译(https://github.com/DracoUnion/BookerGptTool/blob/master/BookerGptTool/trans_chunk_pmt.py)Agent采取了这种机制。结果是,仅仅通过一轮迭代,分章正确率由原来的每本书一定会分错,50%章节能正确划分,提升到99%。而翻译也从仅能翻译技术文档,达到了文学作品的水平。
最近OpenAI发布的数学论文就广泛采取了这种机制。LLM搜索并生成研究思路,Lean形式化检测器绝对严谨地验证思路,一旦不通过就打回去由LLM重新生成,直到通过。此外,在因子挖掘领域也有类似应用,LLM负责变异因子,Quant指标负责检测因子的有效性。
那么小说生成也可以采用同样的思路,LLM生成并润色小说,某个检测器负责检测文章质量。
(2)不懂语言统计学
有了循环机制,现在就缺一个检测器,检测器肯定不能由 LLM 充当,不然无法消除LLM本身带有的非人感以及叙述过长等问题。
我的办法是引入语言统计学,使用里面的指标来衡量文章风格的好坏。具体来说,找出公认行文和剧情设定比较好的小说,计算以下一些语言学的指标,作为判别标准来检测LLM生成的小说,不满足就打回去重写,直到满足标准或者达到最大循环步数。
由此,小说生成的数据飞轮就可以跑起来了。具体效果如何,还需要进一步验证。
附录:一些语言学指标
一、词汇层指标
1. 长度与频率
- 平均词长(字符数/音节数):反映用词简洁或繁复。
- 词长标准差、偏度、峰度:反映词长分布是否均匀。
- 平均词频(log 频率):反映用词常用或生僻。
- 低频词比例:反映词汇难度与文学性。
- 高频词覆盖率(Top 100/1000/3000 词占比):反映用词集中度。
- Hapax legomena 比例(仅出现一次的词占比):反映词汇丰富度。
- Dis legomena 比例(仅出现两次的词占比):辅助判断词汇丰富度。
2. 词汇丰富度
- TTR(Type-Token Ratio):类符/形符比。
- MSTTR(标准化 TTR):按固定窗口计算,避免长度影响。
- RTTR(Root TTR):类符/√形符。
- Log TTR:log 类符/log 形符。
- Maas 指数。
- Yule’s K:词汇重复度。
- Simpson’s D:词汇多样性。
- Herdan’s C。
- Brunet’s W。
- Honoré’s R。
- 词汇密度(实词数/总词数):反映信息密度。
- 实词/虚词比:反映书面化程度。
- 词性分布:名词、动词、形容词、副词、代词、介词、连词、助词、叹词、拟声词比例。
- 名词具体/抽象比:反映具象或哲思风格。
- 动词动作/心理/状态比:反映动作驱动或心理驱动。
- 形容词密度:反映描写华丽度。
- 副词密度:反映修饰强度。
- 修饰语密度(形容词+副词)/动词:反映文风繁复度。
3. 语义与用词偏好
- 成语频率。
- 典故频率。
- 俚语频率。
- 方言词频率。
- 古语/文言词频率。
- 外来词频率。
- 网络用语频率。
- 专业术语密度。
- 新造词/自创词频率。
- 命名实体密度(人名、地名、组织)。
- 人称代词频率:我/你/他/她/它/我们/你们/他们。
- 第一/第二/第三人称比例:反映叙事视角。
- 情感词密度。
- 情绪价均值、方差。
- 唤醒度均值。
- 感官词密度:视觉、听觉、触觉、嗅觉、味觉、体感。
- 颜色词密度。
- 声音词密度。
- 气味词密度。
- 味道词密度。
- 触觉词密度。
- 空间词密度。
- 时间词密度。
- 数量词密度。
- 量词多样性。
- 语气词/助词/叹词频率:反映口语化程度。
- 儿化音/方言口音词频率。
- 敬语/谦辞频率。
- 脏话/禁忌词频率。
- 同义词多样性。
- 词义义项数。
- 词汇难度(HSK/CEFR/词频等级)。
- 汉字平均笔画数。
- 汉字等级分布。
- 拼音/声调分布。
二、句子层指标
1. 长度与复杂度
- 平均句子长度(字/词)。
- 句长中位数。
- 句长标准差、方差、变异系数。
- 句长偏度、峰度。
- 句长分布直方图。
- 平均分句长度(逗号间)。
- 平均小句长度。
- 句法树深度。
- 依存距离:平均依存距离(MDD)、最大依存距离、分布。
- 依存方向。
- 从句密度。
- 嵌套深度。
- 简单句/并列句/复合句/复杂句比例。
- 主动句/被动句比例。
- 把字句/被字句频率。
- 陈述句/疑问句/祈使句/感叹句比例。
- 完整句/省略句/无主句比例。
- 独词句/短句比例。
- 长句比例。
- 句首词类分布。
- 句尾词类分布。
- 句首连接词频率。
- 倒装句频率。
- 排比句频率。
- 对偶句频率。
- 反复句频率。
- 修辞问句频率。
- 引语句比例。
- 直接引语/间接引语/自由间接引语比例。
- 引语标签多样性(说、道、问、喊等)。
- 对话轮次长度。
- 对话间隔。
2. 标点与停顿
- 标点总密度。
- 逗号频率。
- 句号频率。
- 分号频率。
- 冒号频率。
- 顿号频率。
- 问号频率。
- 感叹号频率。
- 省略号频率。
- 破折号频率。
- 引号频率。
- 括号频率。
- 书名号频率。
- 标点多样性。
- 标点组合模式。
- 句内停顿模式。
- 标点熵。
三、段落与篇章层指标
- 平均段落长度(字/词/句)。
- 段落长度中位数。
- 段落长度标准差、变异系数、偏度、峰度。
- 段落数量。
- 单句段比例。
- 长段比例。
- 平均段落句数。
- 段落开头模式。
- 段落结尾模式。
- 章节数量。
- 平均章节长度。
- 章节长度分布。
- 章节标题模式。
- 对话段落比例。
- 描写段落比例。
- 叙述段落比例。
- 议论段落比例。
- 抒情段落比例。
- 心理描写段落比例。
- 动作描写段落比例。
- 环境描写段落比例。
- 场景转换频率。
- 时间跳跃频率。
- 视角切换频率。
- 对话/叙述比。
- 叙事速度:场景/概述/省略/停顿比例。
- 事件密度。
- 新信息密度。
- 信息新旧比。
- 主题句位置。
- 衔接词密度。
- 指代密度。
- 回指距离。
- 词汇链长度。
- 篇章连贯性(LSA、实体网格)。
- n-gram 重复率。
- 模板化程度。
- 自我重复率。
- 长程相关性。
- Hurst 指数。
- 分形维数。
四、修辞与风格层指标
- 比喻/明喻/暗喻频率。
- 拟人频率。
- 夸张频率。
- 排比频率。
- 反复频率。
- 双关频率。
- 象征频率。
- 讽刺频率。
- 反讽频率。
- 通感频率。
- 白描/华丽指数。
- 形容词密度。
- 副词密度。
- 修饰语密度。
- 感官描写比例。
- 心理描写比例。
- 动作描写比例。
- 环境描写比例。
- 对话描写比例。
- 叙述视角:第一/第二/第三人称。
- 限知/全知视角。
- 叙述时间:顺叙/倒叙/插叙。
- 叙事速度。
- 语气:幽默/严肃/冷峻/温情。
- 正式度/口语度。
- 书面语/口语词比例。
- 文言/白话比例。
- 网络用语频率。
- 脏话/禁忌词频率。
- 敬语/谦辞频率。
- 情感弧线。
- 情感价/唤醒度轨迹。
- 情绪多样性。
- 情绪极性比例。
- 主客观比例。
- 叙事弧线类型。
- 英雄之旅阶段。
- 冲突频率。
- 悬念密度。
- 伏笔密度。
- 高潮位置。
- 结局类型。
五、信息论与统计复杂性指标
- 字符熵。
- 词熵。
- 条件熵。
- 互信息。
- 困惑度(用语言模型计算)。
- 压缩率(gzip、bzip2、zstd)。
- 类型-形符比。
- 词汇分布熵。
- 句长熵。
- 标点熵。
- n-gram 多样性。
- 重复 n-gram 比例。
- Zipf 斜率。
- Zipf 系数。
- 词汇网络:度分布、聚类系数、平均路径长度、模块度。
- 共现网络:角色网络、词共现网络。
- 主题模型:LDA 主题分布、主题多样性、主题连贯性。
- 情感轨迹。
- 节奏变化:句长/段长波动。
- 标点节奏。
- 对话密度变化。
- 章节钩子强度。
- 风格相似度:Burrows’s Delta、Zeta、余弦相似度、KL 散度、JS 散度、编辑距离。
- 作者归属指标。
六、叙事学与内容层指标
- 角色出场频率。
- 角色共现网络。
- 角色对话量。
- 角色视角比例。
- 角色弧线。
- 情节事件密度。
- 冲突频率。
- 悬念密度。
- 伏笔密度。
- 高潮位置。
- 结局类型。
- 时间跨度。
- 空间跨度。
- 场景数量。
- 幕结构。
- 英雄之旅阶段。
- 情感弧线类型。
- 主题分布。
- 母题频率。
- 象征物频率。
- 世界构建密度。
七、语音与韵律层指标(若适用)
- 音节数。
- 声调分布。
- 押韵密度。
- 头韵。
- 平仄。
- 节奏模式。
- 朗读时长预测。
- 停顿模式。
八、排版与视觉层指标
- 标点总数/密度。
- 各标点频率。
- 省略号/破折号/感叹号/问号频率。
- 引号频率。
- 括号频率。
- 分号/冒号/顿号频率。
- 空格/空行频率。
- 段落缩进。
- 对话排版。
- 章节标题模式。
- 字体/字号(电子书)。
- 页面长度。
九、可读性与认知负荷指标
- Flesch Reading Ease。
- Flesch-Kincaid Grade Level。
- Gunning Fog。
- SMOG。
- Coleman-Liau。
- Automated Readability Index(ARI)。
- LIX。
- RIX。
- 中文可读性公式。
- 汉字平均笔画。
- 难词比例。
- 句法复杂度。
- 工作记忆负荷。
- 阅读时间预测。
- 眼动指标(若可用)。
十、推荐“风格向量”组合
如果只想快速刻画一本小说的风格,建议优先算这些:
- 简洁/繁复:平均句长、句长变异系数、平均段长、实词密度、形容词密度、从句密度、标点密度。
- 口语/书面:语气词、叹词、网络用语、方言词、文言词、正式词比例。
- 节奏:句长波动、段长波动、对话比例、事件密度、标点密度。
- 情感:情感价、唤醒度、情绪多样性、感官词密度。
- 叙事:视角、对话/叙述比、场景转换频率、悬念/伏笔密度。
- 信息复杂度:熵、困惑度、压缩率、TTR、Zipf 斜率。
此外我们备份了笔趣阁全 20w 本小说(https://github.com/orgs/CyberCommy/repositories?q=biqu)欢迎大家下载回去在上面做实验。

浙公网安备 33010602011771号