Niels Nielsen blev født 1862 som søn af en fattig fisker og daglejer på Lerchenborg.

Nielsen, var entreprenør og måske i vors tidsånd mere "iværksætter". Af alt for meget arbejde var Nielsen blevet stresset, så han anskaffede sig en båd, hvor han kunne slappe af. Med båden anløb han Rørvig Havn en forårsdag i 1902. Han blev meget betaget af det naturskønne område, og da Hov Vig var til salg, købte han det 300 tønder store areal med skov, eng og mose for 40.000 kr. kontant. På Hov Vig byggede han et stort og særpræget hus (senere kendt som Ålekongens slot), og her boede han med sin kone og deres tre døtre og to sønner til 1918, hvor han solgte det hele for en høj pris.

Nielsen opførte Klitborg til sin familie og flyttede til den nybyggede "borg" Klitborg på Flyvesandslodderne, som han havde købt for 7 ører kvadratalen i 1914. Flyvesandslodderne var et meget stort område. Hvor stort vides ikke, men foruden Klitborg omfattede det også Jagtborg og en del af Trolleskoven. Jagtborg var meget sumpet og velegnet til andejagt, der var en af Niels Nielsens store interesser. Senere gravede han grøfterne, drænede og solgte Jagtborg fra.

Byggeriet af Klitborg varede ca. 1 år. Det blev udført af Nielsens ældste søn, Knud Nielsen, senere Hanting, som samtidig byggede Skovhuset, Klitborgvej 12 til daværende teaterdirektør Ivar Schmidt. Tårnværelset på Klitborg havde Nielsen indrettet meget komfortabelt. Herfra havde han, som fra sine andre boliger en storslået udsigt, som han i så høj grad havde sans for. Der går en morsom historie om, at man havde glemt køkkenet, da man opførte Klitborg. Man aner nok, at det ikke var et sted, Nielsen kom så ofte.

Bygningen Klitborg var velholdt, den var med stråtag og alle vinduer havde de eleganteste skodder. I hver enkelt skodde var der de fineste udskæringer af de dyr, som man finder ved stranden og i klitten.

Det varede imidlertid ikke længe, før Nielsen begyndte at kede sig i de øde egne. Han forlod Klitborg og slog sig ned på Mors, hvor han købte en gård. På en sejltur i Limfjorden havde han set nogle få sommerhuse på en skrænt, og her fik han ideen til at bygge sommerhuse på flyvesandslodderne.

I 1934 nu 72 år gammel vendte entreprenør Niels Nielsen tilbage til Klitborg, og påbegyndte som den første her i landet et decideret sommerhusområde, som også blev kaldt "Klitborg", og blev kendt som en "Cottageby".

Nielsen anlagde vejene først. Birketoften (dengang Birkevej), Klitvej og Strandvej gjorde han ensrettede. Der blev gravet brønde bag klitterne samt bygget det første af i alt to små pumpehuse og et vandtårn, der skulle forsyne de kommende huse med vand. Birkevej skiftede i 1960´erne navn til Birketoften.

De første 16 små huse blev bygget på Birketoften og Klitvej. De stod færdige i 1935. Husene lignede hinanden udefra. De havde det karakteristiske ”tårn”, som stadig findes på nogle af husene, de var gulkalkede i forskellige nuancer. De dejlige stalddøre, der var grønmalede, blev sammen med garageportene lavet på Mors og sendt til Nykøbing i jernbanevogne.

Husene blev bygget af en murermester fra Nykøbing og to altmuligmænd, Marius og Christian. der senere blev afløst af Viggo Petersen, Østre Lyng.

Træerne var ganske lave, og man kunne se alle husene på en gang, ligesom man kunne se havet fra alle de huse, der ligger på kuperet terræn

Det åbne område og den relativt tætte bebyggelse indebar også, at det kunne være så som så med privatlivet. Nielsen lod derfor opføre de to mure ud fra Klitvej 10 og 12 g på mange grunde lod han opføre hegn i større eller mindre omfang. Mange hegn står endnu. Det var nødvendigt med afskærmning, hvis man skulle have bare lidt privatliv.

Jo tættere man kom klitten, jo lavere var bevoksningen. Fra alle de ”højtliggende” grunde kunne man se vandet. Helt op til 1960´erne kunne man se vandet bl.a. fra Klitvej 9. Fra garagen på Strandvej kunne man op til begyndelsen af 1970´erne se vandet og store dele af klitten helt ud til Skærbygaard.

Materialerne til sten var billige. Med en bestemt vind kom der noget fint grus eller ral op på stranden. Gruset blev blandet med cement. I flere år stod der en mand bag klitterne ved Vestvej og lavede sten på et hjemmelavet apparat. Det blev fortalt, at de små huse stod Nielsen i 900 kr. stykket.

Nielsen havde forestillet sig, at de små huse skulle udlejes til weekend- og badehuse til holbækkere. I nogle af husene var der garage, og det kostede 200 kr. at leje et hus for et år. Det undrede Nielsen meget, at lejerne slog sig ned for hele sommerperioden og til takke med de små forhold. Derfor byggede han den lille tilbygning enten af træ eller sten på de fleste af husene, det gav lidt mere køkkenplads samt et ekstra soverum. Tilbygningen kan ses på adskillige af husene i dag.

De næste syv huse blev bygget for enden af Klitborgvej og på Strandvej i vinteren 1935 og foråret 1936. De var større og mere komfortable.

Det var husene Strandvej 4, 5 og 6 Klitborgvej 27, 30, 32 og 34. det er vel de huse, der er mindst ændret gennem årene. Det lille værelse ved siden af køkkenet var tænkt som pigeværelse.

De 6 endnu større og finere huse i Gryden fulgte efter, og endelig blev udlejningsbyggeriet afsluttet i 1942 med de tre stråtækte huse på Vestvej 33, 35 og 37. Samme år kom der byggestop som følge af krigen.

Husene var forud for deres tid. Der var rindende vand i køkkenet og toilet med træk og slip, hvilket ikke var almindeligt i et sommergus i 1935. Elektricitet blev derimod først indlagt efter 1950, hvor folk købte husene. Indvendigt var husene hyggelige og charmerende. Standardudstyret var enkelt. Kokostæpper på de bare cementgulve. Bænken og det tunge bord (også lavet på Mors), en lillebitte brændeovn og i soveværelserne de knirkende ”Nielsensenge”. På loftet var der i de mindste af husene til stor glæde for børnene to hængekøjer, der for en sikkerheds skyld var naglet fast. Der måtte nemlig ikke flyttes på noget, og der måtte ikke slås søm i væggene. Gamle Nielsen dukkede tit uventet op for at se, om lejerne behandlede hans huse ordentligt. Han gik rundt og så sig om, imens han brummede for sig selv og forsvandt ligeså pludseligt, som han var kommet.

I de første år var der ingen forretninger mellem Nykøbing og Rørvig. Også der var der tænkt på. På Birkevej (Birketoften) 1 var der en lille blandet landhandel, men kun for en kortere periode, da den vist ikke kunne løbe rundt. Men selvom der ikke var el i husene og dermed ikke køleskab, klarede folk sig vist meget godt. Der var jo ”kælder” og flueskab ude. Hver dag kom der mælkemand og grønthandler fra Nykøbing. Mælkemanden kom også med isblokke til isskabene, da ingen som sagt havde køleskab.

Nielsen anlagde to pumpehuse på det, der i dag er fælles arealet. Det ene stor midt på arealet, det andet stod langs den sti, der er fortsættelsen af klitborgvej. De var i brug til begyndelsen af 1950´erne, hvor Statens Seruminstitut lukkede dem på grund af vandets kvalitet. Husene var forsynet med motorer fra fiskekuttere og lyden af de pumpende værker kunne høres i hele Klitborg. Vandet blev pumpet op i et vandtårn, der indtil begyndelse 00érne stod ved den lille sti, der forbinder Klitborgvej og Strandvej. På gamle fotos af området kan man se vandtårnet og pumpehusene. Når pinden  på vandtårnet var nede, var der ikke mere vand i tårnet. Så blev Viggo Petersen, Østre Lyng, tilkaldt og så startede han pumperne i pumpehusene.

Da Klitborgområdet blev grundlagt, havde ingen egen telefon. Der blev derfor fra begyndelsen anlagt et lille telefonhus på stien mellem Klitborgvej og Lynghusvej – deraf navnet telefonstien. Huset blev revet ned i begyndelsen af 60´erne. Det havde overflødiggjort sig selv, fordi flere og flere fik så indlagt egen telefon.

”Nielsen – også kaldet Gamle Nielsen - gjorde et uudsletteligt indtryk på alle, der har kendt ham. Han huskes som en personlighed, man havde stor respekt for. Man så ham meget tit gå rundt i området på vejene, altid med sin jagtstok. Han kunne komme uanmeldt i husene, og man kunne ikke altid være sikker på at kunne leje det samme hus året efter. Det bestemte Nielsen suverænt. Han bestemte også, om huset skulle kalkes i en anden farve året efter. Han passede i den grad på, at ingen fremmede kom ind på hans område, hverken på vejene på stranden eller i klitterne. Vi, der boede her, måtte kun færdes på de af ham anlagte veje og stier. Der var mange hjemmelavede skilte med forbud. Stod der ”kun for gaaende” skulle man nok springe af sin cykel, for Gamle Nielsen sad tit på sin jagtstok godt gemt mellem træerne og lurede.”

Der har aldrig været fri adgang til området. Nielsen håndhævede som omtalt andet steds i den grad områdets private karakter, og der har altid været skiltet flere steder med ”Privat område- adgang for forbudt”. I begyndelsen af 1960´erne blev bommene ved alle indfaldsvejene til Klitborg opsat. Bommen ved Vestvej og Fasanvej betød, at indkørsel de to steder ophørte. Sådan har det været nu i mere end 50 år.

I 1941 kom Sven Nielsen til Klitborg for at aflaste sin far med det store arbejde, det var at administrere de mange udlejningsejendomme.

Svend Nielsen byggede ”Britevil” (Lille Klitborg) i 1942. Han boede der selv indtil 1950. I 1950 blev huset købt af Vilhelm Seidenfaden. Det ejes nu af de næste generationer Thornvall og Gundersen. En klausul for at Seidenfaden kunne købe huset var, at Klitborg kunne hente vand i brønden bag ”Britevil”.

1947 den 16. januar døde entreprenør Nielsen på Klitborg 85 år gammel.

Sven Nielsen overtog nu alle husene, men han lagde ikke skjul på, at det var en underskudsforretning. Flere af husene trængte til gennemgribende reparationer. Især var de utætte tage et stort problem.