根本的な原因は，CPUそのものの性能でしょうね．それはしょうがないです．
これまで4GB RAMのRaspberry Pi 4 Model Bでやってきました．CPUが4つあるので，makeのオプションを-j8としたいところですが，メモリーの制約があるからむやみに増やすなとどこかに書いてあったので，-j6にしました．ところが，-j6でも，rustとかspidermonkeyのような頭のおかしい高度なパッケージでは，しばしばswapを1〜2GBも使います．これは重大な足引っぱりです．
そこで，Slackware ARMで使用している8GB RAMのものと本体の交換をしました．Slackware ARMのほうはそんなに頭のいかれた高度なソフトをしばしば激しくbuildすることもないので4GBでもいいのですが，新しく買った8GBのRPi4本体は，WSとして使えないと結論してから使用目的がなくなり，高いほうを使わないのはもったいないので交換しておいたのです．
ということで，Gentoo ARM64は，8GBのRPi4で遊ぶことにしました．たぶん，swapを使って速度の足かせになる頻度は大きく減ると思います．