Ja, det är typiskt att man ofta ses som besvärlig när man tar upp sexism.
Sexistiska chefer, eller andra med någon typ av auktoritet, tycker jag nästan är värst. Ett tag hade jag en smått sexistisk chef (som själv inte hade någon chef utan ägde företaget) som det i princip inte gick att framföra kritik till. Han var också rasist. Jag har nog aldrig hört någon uttrycka sig så öppet och grovt rasistiskt som han gjorde, jag blev så paff den gången att jag inte hann säga något alls.
Jag tror att det också pekar på varför det kan vara viktigt att säga ifrån, många är inte vana att få mothugg och de ser deras perspektiv som det enda rätta, som något självklart. De kan leva i villfarelsen att alla håller med så länge ingen säger ifrån. Min fd chef t.e.x. var det sällan någon som sade emot, anställda var nästintill rädda för honom, och det visade sig också så småningom att han kunde vräka ur sig grova uttalanden som om det var självklarheter alla runtomkring höll med om. Det är inte särskilt svårt att intala sig själv att det man säger är helt normalt när ingen protesterar.
Det är också det jag ser som en av riskerna med att låta vardagssexism, vare sig det är skämt eller kommentarer, passera obemärkt. Ofta finns det en eller flera i sällskapet som genuint har den här typen av åsikter och som får bekräftelse när ingen "är jobbig" och säger ifrån. I vissa fall kan det eskalera i en jargong som alla förväntas acceptera, om inte som ren sanning så åtminstone som skämt, och då kan vardagssexism bli till en väldigt obehaglig sexistisk miljö.