Gambling Dataset

我们的实验表明，将一组数值指标值和相关元然语言摘要，同时又要满足所有任务约束，对于 llm 来说是一项具有挑战性的任务。这是因为需要总结的不同指标见解组具有各种复杂性，这些见解在摘要中经常会被错误修改、完全省略或以重复的方式包含。

我们发现了一些 llm 特别难以总结的极端情况，而由此得出的事实准确性无法满足要求。例如，同一指标名称的一组洞察可能跨越不同的时间粒度，每个洞察都传达不同类型的洞察（异常变化、popc 等），但 llm 会将它们总结为同一指标。同时，在生成的摘要中保留与每个指标洞察相关的情绪是一项挑战；一组指标可能会有相互冲突的情绪（“利润”可能有利地上升，但“客户保留率”可能不利地低！），这需要在 llm 生成的摘要中进行准确对比。

迭代对齐
为了应对这些挑战，我们选择了中间洞察模板化步骤。我们使用多个模板将指标洞察事实转换为自然语言，具体取决于要总结的指标的事实组合。我们发现 llm 可以比直接总结指标事实更容易地总结模板 购买线索 化的洞察。这减少了事实错误，满足了其他任务约束，并大大提高了总结的流畅性。


在llm 提示步骤中，我们提示固定的 llm，根据概述的要求生成前 3 个中级见解的摘要。考虑到各种约束条件，设计和调整提示以生成一致的见解摘要并非易事。我们设计了上下文示例来指导 llm 生成更多“一致”的摘要。我们的上下文示例专门教 llm 如何总结“困难”的指标组，例如那些具有不同见解类型和交替情绪组合的指标组。它们经过精心设计，以传达用户期望的 语气和冗长程度。