Killkompisar

Jag har en fråga som jag skulle behöva lite hjälp med.
Jag har en pojkvän sen lite över 1 år tillbaka som inte tycker om att jag har killkompisar, det finns en speciell kille som han inte alls tycker om eftersom jag hade sex med honom några gånger för över 5 år sedan (jag är 20 nu) men efter det så har vi bara varit vänner. jag tycker det känns fel att avsluta en vänskap på 5 år men han vill inte att jag ska vara vän med honom. Andra killkompisar har hag brytit kontakten med då dom vänskaperna inte betyder lika mycket.
Nu känner min kille att jag inte investerar i denna relation men jag tycker något helt annat, för en månad sen gjorde jag en abort för hans skull trots att jag ville behålla det och för längesen var han otrogen (skrev med en annan tjej och sov med henne 1 gång men gjorde inget fysiskt) men jag beslöt mig för att förlåta honom. Jag har aldrig gjort något för att bryta tilliten som han har för mig så förstår inte varför en killkompis skulle vara problemet, trots det som hände när jag var 14/15 år.
Jag har även bett min kille följa med och träffa min kompis men det vill han inte och nu har kompisen flyttat 3 timmar bort så det blir svårare nu. 
Vill även tillägga att han brukar gå igenom min telefon när jag sover trots att jag har bett han att sluta flera gånger och att jag vill vara med om han går igenom den. Jag förstår inte varför han inte litar på mig.

Har jag fel i att tycka det är okej att behålla min killkompis?