ChatGPT的核心是GPT（Generative Pre-trained Transformer）模型，它通过大规模的无监督预训练学习海量文本的语言模式，然后通过有监督微调（Fine-tuning）来适应具体的对话任务。它利用了先进的语义嵌入模型（如BERT、RoBERTa或者更精细化的变体）来将用户的查询（Query）和文档内容映射到高维语义空间中，使得语义相似的文本距离更近。这是通过Transformer架构中的注意力机制实现的，它能够动态调整对不同历史对话的关注程度，从而实现上下文追踪。
