なかなか今の税理士に変更を言いづらいのですが。

長くお付き合いされていればいるほど、変更のハードルは高いと思います。例えば、「親戚（あるいは友人）が開業したのでやむなく顧問税理士を変更したい」と申し出て頂ければ、すんなりと変更が可能です。