Gideon Börjes konst ”var och förblev en sinnets berusning inför naturens skönhet” skriver Bror Hjorth i sin biografi över vännen. Gideon Börjes måleri var oftast omedelbart och utstrålade en stark lyrism, naivistiskt på 1910-talet och senare med en varm och enkel expressionism.
Det sägs att Gideon Börje egentligen inte hade någon längtan efter att bli konstnär från början utan blev lurad av sin kamrat Eric Hallström att anträda konstnärens knaggliga och osäkra bana. De båda hade blivit vänner under ungdomsåren och tillsammans kom dom att göra många strövtåg genom Stockholm på 1910-talet, Börje hade sitt föräldrahem på Söder och Hallström sitt hem i Vasastan, men avstånden var inte så stora. En annan av vännerna var Hilding Linnqvist som besöktes i sin ateljé borta vid Karlbergsområdet nära Rörstrandsgatan. Stadens utkant blev deras främsta inspirationskälla, det var här det gamla Stockholm fortfarande fanns kvar, hantverkarna hade sina verkstäder och här fanns också de gamla skjulen och bodarna mellan vilka barnen sprang runt barfota och smutsiga på somrarna. Gideon Börjes naivistiska period är kort, endast några få år på 1910-talet, efter några utländska resor i början på 1920-talet förändrades hans stil och hans måleri fick ett fastare formspråk och koloriten blev mildare. På 1910-talet tillkom några hans mest intressanta verk, några riktiga rariteter av vilka man kan nämna ”Gamla Pelikan och järngraven, 1919 (Stockholms Stadsmuseums samling) och ”Från Vaxholm” 1920 (Moderna Museets samling).