linux下如何修改巨大数量文件权限，不改文件夹权限

由于以前规划不科学，导致某些目录下存放了巨量文件，有几百万个小文件，操作起来比较吃力，现在需要对他们进行权限修改，但不能改目录权限，否则无法访问，如何操作？

网上查了比较了下，发现下面这个方法可行：

find ./yourdir/ -type f | xargs chmod 644

不过跑起来load average飚得很高，不知道还有没有更好的方法呢？