Det er mange grunner til at det er vanskelig å ta opp rasisme. Den som sier ifra kan få negativ oppmerksomhet, i tillegg til belastningen ved å bli utsatt for rasisme. 
 
Det kan også være vanskelig å nå gjennom til den det gjelder. Mange mangler kunnskap og vilje til å innrømme at de selv kan ha rasistiske holdninger, og det passer ofte dårlig med eget selvbilde at man har gjort noe rasistisk. Derfor kan reaksjonen også bli følelsesmessig og sterk dersom dette blir tatt opp.  

Om du ellers har en grei tone med noen, og tenker at de vil høre på deg, kan du vurdere om du vil si det direkte til dem om de har vært rasistiske. Alle kan gjøre feil, og det kan tenkes de ikke har visst bedre eller at de ikke har tenkt seg godt nok om. Hvis du vil ta det opp med den det gjelder, kan det hjelpe å ha snakket med noen som anerkjenner dine følelser i forkant og støtter deg i ettertid. 

I beste fall vil du bli møtt med vilje til å lytte og lære av det du påpeker.  ​​
​
Du kan også oppleve at den andre havner i forsvarsposisjon. Under er noen typiske svar man kan få når man peker på rasisme. Vurder alltid om du vil fortsette samtalen eller ikke.  ​
Intensjon
Når du sier ifra om det du har opplevd som rasistisk, så kan noen svare med «Jeg mente ikke noe rasistisk». Dette er en måte å forsvare seg på, og selv om man ikke mente det kan det fortsatt være en rasistisk handling eller ytring. Her er det lurt å si at det er fint vedkommende ikke mener og ønsker å være rasist, og derfor er det enda viktigere å snakke om det konkrete som ble sagt og hvorfor det er problematisk.  
Forskjellige meninger
Noen kan svare at det handler om ulike meninger og ytringsfrihet. Det er likevel et problem hvis ulike meninger bidrar til at noen føler seg utrygg, tråkket på eller ekskludert, eller at noen blir snakket om, sett på og behandlet dårligere enn andre. Det som for noen er en prinisippsak om hva de kan si om andre, kan for deg handle om hvordan de definerer deg som menneske. Det som for noen er en diskusjonssak, er for deg ditt menneskeverd. ​
Whataboutism
Noen kan prøve å flytte fokus fra kritikk ved å peke på et annet problem som ofte ikke er relevant for sammenhengen, og spør «Hva med …?» Da ledes oppmerksomheten mot noe annet som fremstår verre. Du kan svare «Det finnes alltid verre ting, men det gjør ikke min erfaring mindre alvorlig. Når du sammenligner min erfaring slik, så opplever jeg at du bagatelliserer det og ikke tar meg på alvor. Mine følelser og erfaringer forandrer seg ikke av at det finnes mer utfordrende ting». 
Følelser
​Noen kan svare med å fokusere på din emosjonelle reaksjon, at du gråter, er sint eller overtenker. Å reagere emosjonelt på å bli behandlet mindreverdig er helt normalt. Det gjør ikke det som ble sagt eller gjort mindre farlig.
Rasismekortet
Noen kan anklage deg for å bruke rasismekortet. Da menes det at du egentlig ikke er såret, men sier at noen er rasistiske for at du selv skal få sympati, vinne en diskusjon eller få andre fordeler. Et svar på dette kan være «Jeg spiller ikke noe spill, jeg beskriver hva jeg har opplevd og hvordan det påvirker meg».