Min man har plötsligt blivit svartsjuk

Min man och jag har varit två väldigt fria personer som haft massa sex tidigare med olika personer. 

När vi gifte oss så vet jag seriöst inte hur många som var där som han tidigare legat med eller bara hånglat med. Det är typ att hans kompisar (killkompisar) blivit tillsammans med hans gamla ligg. Vet inte hur många sånna historier jag hört. Han har raggat upp någon brud på krogen, legat med henne och sedan blivit kk tills dom träffat någon av hans kompisar och då har dom blivit tillsammans med hans polare istället?. 

Vi har ofta hans ex på besök hemma hos oss också?. Vi käkar även middag ihop och han umgås och reser även massor med sin ex svärfar. 

Men nu till mitt problem. Jag har en gammal KK/vän som jag känt i 18 år, han är gift och jaja, jag var med honom samtidigt som han var gift och vi har vår historia?. Däremot har vi inte haft sex på 8 år nu utan är enbart vänner, med en viss sexuell spänning i luften men inget allvarligt. Jag berätta för min man att jag bjudit hem min gamla kk på middag nästa helg då det ser ut att bli bra väder. Min man är nog skitarg, han smällde igen dörren och drog iväg när jag berättade detta. Jag fattar ingenting, jag tycker det är fett överdrivet med tanke på hur tolerant jag är. Han hade Flera ex på vårt bröllop också med flera olika ex svärföräldrar då. 

Han tycker skillnaden är att jag varit inblandad i otrohet. Hur är det skillnad?