Pappor som överger barn och skyller på barnen- vad göra?

Jag är sedan dec förra året separerad från mina barns pappa, vi har 5 st men 3 i åldern 12,13 och 16. Vi bestämde tillsammans att jag skulle ha hela vårdnaden

I början så bodde alla växelvis, men efter ett par månader så strulade pappan med att ta sitt ansvar ekonomiskt dvs bidra sina 50% ( har alltid varit ett problem men när man bor tillsammans blundar man och biter ihop) 
För att undvika att barnen skulle komma kläm så pratade jag med familjerätten och fick rådet att gå via FK. Pratade med barnen som också föredrog att slippa hamna i tjafs gällande busskort oss och tyckte att det kunde vara skönt att bo lite längre på ett ställe. Han gick till rätten och bad om 50/50 vårdnad och fattar inte skillnaden mellan boende och vårdnad. 
Under sommaren träffade han en ny partner och nu vill han inte ha barnen alls. Han har flyttat ur lägenheten efter 1 månad de varit tillsamman och in till henne som bor 40km från oss. Han svarar inte på telefon eller sms när de ringer och visar inget intresse för att träffa barnen, på 3 månader har han föreslagit att de ska ta en fika.
Till saken hör att den han har träffat har inget intresse för att han har barn och de är inte välkomna att bo där, de får komma och vara sociala med henne om de vill.

Den gången när pappa inte hörde av sig så åkte de för att prata med honom, hon gick emellan, tog över diskussionen, slet in honom genom dörren och slängde igen den och låste med nyckel.

Sen fick barnen en utskällning för att de kommit på besök trots att han visste att de skulle komma. Hon skriver hans sms och driver och är arrogant mot barnen men han tar hennes försvar hela tiden. Barnen mår väldigt dåligt. 
De har bett honom att hitta en lösning där de kan komma och bo den tid som är överenskommet men han visar inget intresse. 
Han menar på att de ska umgås och vara tacksamma om han vill träffa dem någon gång när det passar honom och då får de inte ställa några frågor utan bara prata snälla saker för annars blir han sur.
Barnen har bett honom välja mellan dem och den nya och han har talat om för dem rakt i ansiktet att han vill leva sitt nya liv nu, men han prioriterar dem. Hur då?

Han tar inget ansvar för dem och sätter hela tiden villkor på mig och dikterar hur /när han ska träffa barnen och jag har inget att sätta emot för han säger att det är jag som är vårdnadshavarare.
Har försökt att få till "efterlevnad av överenskommelse" dvs att han ska ta hand om barnen de 5 dagar som bestämt. Han säger bara att han har inga skyldigheter alls för han är inte vårdnadshavare. 
Måste man vara vårdnadshavare för att vilja träffa sina barn?

Alltså hjälp! jag håller på att gå under. Den äldsta dottern mår väldigt dåligt av det här hon har blivit deprimerad och fått ätstörningar
Sonen som är 13 skolvägrar och är utåtagerande, och väldigt ledsen.
Den minsta är bara förbannad.

Pappan resonerar såsom att han behöver inte bry sig eller ta hand om dem, för de kommer alltid att förlåta honom och ta upp kontakten med honom när de blir större och han inte behöver ta hand om dem.

Min fråga är då?
Är det verkligen så att i svenska samhället så kan man bara avsäga sig alla plikter, ansvar och skyldigheter på grund av vilja?
Har man inget ansvar förutom de futtiga bidragsförskottet som inte täcker barnens utgifter alls, att ta hand om sina barn? Jag menar han är ju inte sjuk eller arbetslös.
Han har bara lusten att leva ett nytt liv? kan det verkligen vara möjligt? Finns det verkligen inget man kan göra mot den psykiska misshandel som han utsätter dem för genom att säga att han alltid prioriterar dem men sen aldrig dyker upp eller vill träffa dem eller svarar på sms när de behöver ( jovisst 5 dagar senare men det hjälper inte när de är ledsna eller något hänt) han stänger av telefon och är alltid trött när de frågar något som inte passar. Jag tror ju även att mycket beror på henne och att han inte vill ha några frågor eller att de tar tid från honom när hon är hemma, det är så det verkar?
Är detta normalt? vad kan man göra? är det så enkelt att bara strunta i fem barn och bestämma sig för att leva ett nytt liv. Hur kan svenska staten som är så tvingande när det gäller föräldrapeng och ledighet sen tycka att det är ok att strunta i barnen när de är större? Hur kan det vara skillnad mellan män och kvinnor ( det säger jag bara för att det är inte ens 1/10 av kvinnor som överger sina barn, visst de finns men ändå) jag anser att detta är en jättestor kvinnofälla!
Vi tar hand om barn och täcker upp för dessa män som överger sina barn och kan göra karriär och skapa nya lättare liv. Varför säger ingen till och varför tillåter lagen det? Hjälp vad kan jag göra?