Можно и так сказать. Другой вопрос - зачем Вам аргументы для дальнейшего общения с врачом, который Вам уже не понравился?..
У каждого свой подход, но лично я не вижу смысла давать 2-й шанс (рискуя своим здоровьем) тому, у кого руки или мозги (как уже известно из опыта) растут «не из того места» (ну или совесть… профессионализм… - нужное выберите сами).
Другими словами:
если некий врач мне (однажды) чем-то не понравился - я иду к другому.
Конечно, предварительно выбираю (по отзывам и т.д.) - но я и с 1-м врачом так делаю… просто ещё же и важно найти «своего» врача: он может быть триста раз неплох… а Вам - не подходит: не сложилось