…だと思うと余計苦しくなりますので、まずは自分の父親を異常だと思って、頭から消し去る練習をしてみては？
父親にとっては普通でも、匿名さんにとっては恐怖で、しかも他の男性との付き合いまで悪影響をおよぼすなら、論外としてカウントましょう。
親だって不完全の塊ですし、男性だからみんなそう、なんてことはありません。(クローン人間じゃないんですから)、父親のイメージを相手に重ねているだけの勘違いです。
男性を避けていても悪化しますので、マイペースに付き合いながら、時々勇気を出して話してみるとか、メールしてみるとかするといいと思います。