ご質問ありがとうございます。
残念ながら、現状のIAMロールを用いたSSOでは、AWSサインページに戻ってしまう仕様になっており、AzureAD側で再度ログインしていただく必要があります。
セッションの長さを最大12時間にしていただくか、IAM Identity Center連携をし、IAM Identity Center経由でAzureADとのSSOを実現いただくと、セッションタイムアウト時の上記ページの表示は回避することができます。ただ、IAM Identity Center連携においては、いくつか制限事項もございますので、以下、先々月のLearning Seriesの動画でご確認いただければと思います。