共 6 条。每条都有一句话定义、延伸阅读和关联概念。
用海量文本训练、参数量达数十亿以上的语言模型,核心能力是预测下一个 token。
一种完全基于注意力机制的神经网络结构,是所有主流大语言模型的底层骨架。
模型生成看似合理但与事实不符内容的现象,根源是它优化的是「像不像」,不是「对不对」。
回答前先从外部知识库检索相关片段、再连同问题一起交给模型,以降低幻觉并接入私有知识。
通过设计输入文本(指令、示例、格式约束)来稳定提升模型输出质量的方法。
让模型在处理某个位置时,动态决定该参考序列中哪些其他位置的信息。