Synen på sex förstör vårt förhållande

Jag och min sambo träffades för ungefär två år sedan. Vi gick väldigt varsamt fram - träffades ofta men var inte särskilt fysiska. Det fick säkert ett halvår innan vi höll hand och ytterligare ett halvår innan första kyssen. För ungefär fem månader sedan flyttade vi ihop och det har gått jättebra. 
Jag är inte religiös men har ändå en relativt konservativ bild av sex och det som rör sex. Det kan bero på att jag blev våldtagen när jag var fjorton och sedan dess varit skygg för fysisk närhet.
Jag vill inte ha riktigt sex förrän på bröllopsnatten och det har jag meddelat min sambo tidigt. Han delade inte min åsikt men accepterade den ändå. 
På senaste tiden har han varit väldigt vresig och anti. Jag har frågat vad det gäller men han har vägrat säga. Igår så meddelade han att han var trött på att vänta och saknade fysisk kontakt. Jag är rädd att han ska gå bakom ryggen på mig för sin lust eller göra något dumt.
Vi har planerat giftermål nästa sommar.
Vad ska jag säga till honom? Ska jag ge med mig? Hur löser man detta?