Är man rasist bara för att man vill minska invandringen?

Nej. Problemet är att folk faller för ett klassiskt logiskt felslut:

Alla rasister vill minska invandringen, därför är alla som vill minska invandringen rasister.

Vilket är ungefär lika dumt som att säga: All öl är blöt, därför är allting blött öl.