ダメってわけではないですが、「遅ればせながら」の後には具体的な名詞+動詞が来ることが一般的です。
どの場面で使おうとしたかわかりませんが、例えばコメントへの返信だとしたら「遅ればせながらコメントに気が付きました、ありがとうございます」のように「ありがとうございました」と「遅ればせながら」の間にもうひとつ単語をいれたほうが自然かと思います。
またはふつうに「遅くなりましたが」にしたほうが良いと思います。
>>18 ですよね、先生と課題のノートで少しやりとりをしていて、提出にかなり時間が空いたのでそう書こうと思ったのですが何か違和感があったので……。なるほど、もう一単語ですね、今後の参考になります！確かに違和感無いですね…。
今回は遅くなりましたが、と代えて書きましたが、結構色々と使う事があってその度に考えていたので……すっきりして良かったです。丁寧な説明ありがとうございました！