LLM用户提示词的向量化和对于训练数据/RAG知识库的向量化有无区别？
答：底层技术token embedding相同，但有本质区别。
1，模型选择可能不同；训练数据向量化：通常使用擅长编码长文本的文档嵌入模型，如 BGE-large、E5-large、GTE、text-embedding-3-large；用户提问向量化：常做查询端优化，解决向量空间的”不对齐”问题，a，查询重写（Query Rewriting）：把口语化问题改写成更正式的检索语句，b，查询扩展（Query Expansion）：补充同义词、相关概念，c，伪相关反馈（Pseudo-Relevance Feedback）：用初步检索结果优化查询向量。
2，分块策略完全不同，用户提问通常不做分块（整句编码）；训练数据要精心设计语义分块，决定检索粒度。
3，实践差异：训练数据向量化需要离线批量处理，重质量、重覆盖、重结构化；而用户提问向量化需实时处理，重速度、重意图理解、重相关性。