Кого спросить, так все согласны, что надо сразу говорить, что не нравится.
На деле, тот, кто скажет, он просто не любит, он хочет продавить, он охренел, а пойду-ка я к тому, кто меня любит.
Помню, мужик один писал, что его девушке не нравится его парфюм. Была куча комментов в духе: "Да как она смеет!"
Если бы эта девушка молча от него ушла, а потом бы выяснилось, что из-за парфюма, наверняка эти же люди орали бы: "Почему не сказала".

Вариантов всегда два:
банан - это просто банан, и человеку просто не нравится то-то и то-то,
или это действительно психологическое нападение, требование жертв ради себя, выкини кошку, докажи, что я для тебя на первом месте.

Как отличить? Доказательно, наверно, никак. Это всегда будет интуитивное решение.
Можно было бы опираться на то, объективно ли мешает человеку то, что он хочет убрать, но какая тут может быть объективность. У одного отшибленное обоняние, выливает на себя полфлакона и то аромат не слышит, а другому действительно мешает. Курильщики свято верят, что к ним просто придираются и не соображают, что вонь атомная, а после того, как они покурили, они воняют еще хуже, чем в процессе.