いいえ、すべての場合で手続きが必要なわけではありません。
著作権の保護期間が終了して著作権が消滅した作品は、手続きなく自由に利用できます(著作権法第51条2項)。
また、著作権法には「私的使用のための複製」や「営利を目的としない演奏・上映」など、所定の条件を満たす場合には著作権が及ばないとする定めがあります。このように法律で著作権が制限される使用方法であれば、著作権が存続している作品でも、手続きは必要ありません(著作権法第30条〜第50条「著作権の制限」)。
著作権の消滅状況や、作品がJASRACの管理作品かどうかは、JASRAC作品データベース「J-WID」で確認できます。