ダメってわけではないですが、「遅ればせながら」の後には具体的な名詞+動詞が来ることが一般的です。 どの場面で使おうとしたかわかりませんが、例えばコメントへの返信だとしたら「遅ればせながらコメントに気が付きました、ありがとうございます」のように「ありがとうございました」と「遅ればせながら」の間にもうひとつ単語をいれたほうが自然かと思います。 またはふつうに「遅くなりましたが」にしたほうが良いと思います。