chunking和embedding的差别
二者都是对检索文本的处理,有什么区别?
Chunking:是对文本内容的切块,切块就是将某个东西切成一小块一小块这种分段处理。在检索文本内容非常多的时候可能就会用到切块。
而
Embedding:是对文本内容的转化,将中文转变成带有方向的数字,这种带有方向的数字就是向量(这种带有方向的数字也有人经常称之为坐标)。这种向量会被计算机识别,用于存储至向量数据库,供用户检索。
总结:一个是对文本内容的分段处理,一个是对文本内容的转化,差别还是很大的。
二者都是对检索文本的处理,有什么区别?
Chunking:是对文本内容的切块,切块就是将某个东西切成一小块一小块这种分段处理。在检索文本内容非常多的时候可能就会用到切块。
而
Embedding:是对文本内容的转化,将中文转变成带有方向的数字,这种带有方向的数字就是向量(这种带有方向的数字也有人经常称之为坐标)。这种向量会被计算机识别,用于存储至向量数据库,供用户检索。
总结:一个是对文本内容的分段处理,一个是对文本内容的转化,差别还是很大的。