Den middelalderlige Rubjerg kirke lå i et næsten ubeboet hjørne af sognet. I 14-1600-tallet var sandflugten hård ved sognet. Allerede o. 1570 flyttede præsten med sin præstegård et par kilometer derfra til et sted, der ikke var udsat for sandflugt. Det samme gjorde den øvrige del af befolkningen. Efterhånden lå den middelalderlige kirke tilbage på en næsten tilsandet kirkegård.
Man havde i årevis drøftet en flytning af kirken. Det første konkrete initiativ blevet taget i 1881, da man indsendte en ansøgning til staten om økonomisk støtte til projektet. En væsentlig drivkraft for kirkeflytningen helt fra den første spæde begyndelse var gårdejer Niels Peter Jørgensen, Kajholm, 1853-1929. Han var allerede som 28-årig sognefoged og kirkeværge og spillede også en væsentlig rolle i plantningssagen. Hans ansøgning blev dog i første omgang afvist. I 1897 begynder man at arbejde videre med planerne, og den 3. august indsender man en ny ansøgning om støtte på 10.000 kr. - Fra ansøgningen:
»Vor nuværende kirke, der har så uheldig en beliggenhed, ved at den ligger i klitten helt uden for nogen beboelse i det nordvestlige hjørne af sognet... «
Herefter ligger sagen stille indtil 1900, hvor der fremkommer nogle planer om sammenlægning af Lyngby og Rubjerg sogne, idet man har lignende problemer med kirken i Lyngby, der indenfor en overskuelig årrække ville blive uanvendelig på grund af fare for nedstyrtning i havet. Tankerne om sammenlægning vandt dog ikke gehør i lokalbefolkningen.
I januar 1903 lader biskop forstå, at tegninger og overslag m.v. skal være indsendt senest 1. juni for at komme med på finansloven for 1904-05. Ved provst Harboes mellemkomst overlades arbejdet til arkitekt Kristoffer Varming, København, der har tegnet flere andre kirker, bl.a. Vejgaard kirke. Det er en del af projektet, at materialerne fra den gamle kirke skal genanvendes i den nye, lige som det er en del af financieringen, at transporten af granitkvadrene skal foretages vederlagsfrit af sognets beboere. Det var en ganske betydelig opgave at transportere de tunge sten på spinkle hestevogne og på sandede veje.
Denne gang gik ansøgningen igennem, og den 9. maj 1904 gives der grønt lys til igangsætning af arbejdet. Arbejdet gik hurtigt og uden væsentlige problemer, så den nye kirke kunne tages i brug den 27. november 1904.
Kirken har to klokker. Den ene er støbt af Petrus Laurentius i 1584. Den er anden er støbt af M. & O. Ohlsson 1930.