関東ではマックといいますが，フランスではマクドというらしいです．
VLC macOS版の3.0.20 (Intel 64bit版)も，うちのカメラのRTSPを表示してくれなくなりました．ずっとこのバージョンのままのような気もするので，カメラ側の仕様が変更になってコンパチビリティーが失われたのかもしれません（少し前にカメラのfirmwareのupdateがありました）．
Raspberry Pi OS版のVLCも含めて症状は同じで，カメラに接続したその時の画像が静止したままです．システムもVLCも生きていて，
killall vlcで止められます．
それでマクドミニの方でもffplayを試してみようかと思ったら，当然ですがX用しかなく，まずXQuartzをupdateしてからMacPortsでFFMPEGをインストールしました．
その結果大きな問題なく動きました．
正常に動いた場合のVLCと比較して，Raspberry Pi OS版と同様に小さいブロックノイズが時々出ます．また時間遅れがかなりあります．
VLCでは出ません．
遅れが蓄積していくかは検証してません．