Zerge föddes i Oppmanna, Kristianstad 1894. Växte upp på torpet Kullesta i Arkelstorp med en omgivande orörd och stor trädgård.
Hans far Nils Svensson var kantor, klockare och porträttmålare. Hans fars intresse för porträttmåleri inspirerade Zerge att efter studenten flytta upp till Stockholm för att öppna egen ateljé i samband med konststudier på Konstakademin.
Efter studietid och konstnärskap i Stockholm flyttade Zerge en tid till Italien där han odlade ett trädgårdsintresse och konverterade till katolicismen. Han bodde även i Frankrike en tid därefter, där lärde han känna varietésångaren och skådespelaren Maurice Chevalier. Eftersom Zerge var en eminent vissångare fann de snabbt varandra och sjöng ofta och tillsammans i sociala sammanhang.

1931 ropade Zerge in sitt gamla barndomshem Kullesta på auktion. Han flyttade hem igen och levde kollektivt med sina två äldre systrar. Han gestaltade och anlade en vacker trädgård med inspiration från hans tid i Italien. Hans systrar drev den lokala banken och många bankärenden skedde även på Kullesta. Zerge var både frimurare och en flitigt anlitad konferencier. Det sägs i bygden att han var populär både som person och konstnär. Hans äldre systrar ska ha skämt bort sin mycket yngre lillebror. Zerge levde gott på porträttmålningar men målade även blomstermotiv. Zerge umgicks tätt med den tre år äldre kusinen och skulptören Nils Möllerberg vars familj auktionens porträtt härstammar ifrån.