フォローしている人の通知(これ↓)、表示しない設定ってありますか？ フォロー外さないとダメですか？
ツイート通知(フォローしてるアカウントのフォローボタンの横にあるベルマーク)をオフにすれば以後表示されなくなると思います。
解決しました！ありがとうございます！