juicefs 对于小文件支持怎么样，有没有测试数据，大量小文件随机读取？ #850
-
|
juicefs 对于小文件支持怎么样，有没有测试数据，大量小文件随机读取？ |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 1 reply
-
|
@wangxuemin JuiceFS 对小文件的支持还是可以的，你用 CV 场景就是海量小文件随机读的情况，请参照我们最新发表的一篇博客： https://juicefs.com/blog/cn/posts/how-to-use-juicefs-to-speed-up-ai-model-training-by-7-times/ 另外，我们也测试了 git 和 源代码编译这类 小文件读写比较多的场景，并作了调优建议： https://juicefs.com/blog/cn/posts/a-case-with-profile-and-stats/ |
Beta Was this translation helpful? Give feedback.
-
|
收到 我研究下 多谢啦~~
Davies Liu ***@***.***> 于2021年9月18日周六 上午10:30写道：
… @wangxuemin <https://github.com/wangxuemin> JuiceFS 对小文件的支持还是可以的，你用 juicefs
bench 就会测试到小文件的读写性能。在没有缓存的情况下，取决于对象存储的读写性能，有缓存的情况下，接近缓存盘的读写性能。
CV 场景就是海量小文件随机读的情况，请参照我们最新发表的一篇博客：
https://juicefs.com/blog/cn/posts/how-to-use-juicefs-to-speed-up-ai-model-training-by-7-times/
另外，我们也测试了 git 和 源代码编译这类 小文件读写比较多的场景，并作了调优建议：
https://juicefs.com/blog/cn/posts/a-case-with-profile-and-stats/
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub
<#850 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/ABS3376U7XO3UAOSG3HJSNDUCP2UDANCNFSM5EIVUWAA>
.
|
Beta Was this translation helpful? Give feedback.
-
|
@wangxuemin 请问最后你进行性能测试了吗？最后数据表现如何，也在研究大量小数据文件下分布式文件系统的性能 |
Beta Was this translation helpful? Give feedback.
@wangxuemin JuiceFS 对小文件的支持还是可以的，你用
juicefs bench就会测试到小文件的读写性能。在没有缓存的情况下，取决于对象存储的读写性能，有缓存的情况下，接近缓存盘的读写性能。CV 场景就是海量小文件随机读的情况，请参照我们最新发表的一篇博客： https://juicefs.com/blog/cn/posts/how-to-use-juicefs-to-speed-up-ai-model-training-by-7-times/
另外，我们也测试了 git 和 源代码编译这类 小文件读写比较多的场景，并作了调优建议： https://juicefs.com/blog/cn/posts/a-case-with-profile-and-stats/