Skip to content
This repository has been archived by the owner on Nov 13, 2024. It is now read-only.

[DOCS]: 看起来 start 最后会使用 insert 的方式给 target 写数据,这个对线上集群是有性能影响的吧 #104

Open
duxinxiao opened this issue Aug 28, 2024 · 1 comment

Comments

@duxinxiao
Copy link

Documentation Link

https://milvus.io/docs/from-m2x.md

Describe the problem

文档的 start 方式,最后会调用 Insert,这个如果我没理解错在大量数据写入的时候会对在线集群造成性能影响的吧,如果是的话文档上有说明会好些。load 的方式最终是用 bulkinsert 这个似乎是安全很多,但是文档上 写的 start == dump + load 看起来也不太准确

_, err := this.milvus.Insert(ctx, collection, data.Partition, data.Columns...)

Describe the improvement

No response

Anything else?

No response

@wenhuiZilliz
Copy link
Collaborator

wenhuiZilliz commented Sep 6, 2024

@duxinxiao milvus2x->milvus2x 迁移的确使用的是批量Insert, 而迁移faiss,es,milvus1x使用bulkinsert, 迁移过程中不管使用哪种方式写数据迁移,目标集群都多少会产生一定性能影响,需要有心里预期。
对于start=dump+load是针对支持了start es/milvus2x迁移方式和原来分两步执行的差异做个说明,也是工具内部的术语,等于start合并了内部的dump,load两个过程,具体内部使用什么方式实现都是可以的,不过架构图确实对应要做更新了。

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants