Omridset af den nedrevne kirke er markeret med en lav jordvold. Et lille stykke af murkernen fra vestmuren har fået lov at blive stående.

Som følge af svenskekrigene i 1600-tallet kom der stor armod til sognet - oven i de vanskeligheder, der allerede var i forvejen som følge af sandflugten. Forfaldet fortsætter op gennem 1700-tallet: 1715 blæser taget af kirken. 1720 tør præsten ikke gå på prædikestolen af frygt for nedstyrtning. 1747 er taget så utæt, at det regner ind. 1754 klager sogneboerne over, at svin og fæ løber ind i kirken »og gør bulder til gudstjenestens forstyrrelse«. 1792 vælter vestgavlen (lynnedslag eller manglende vedligeholdelse?).

Efter reformationen hørte kirken under kronen, men i 1758 blev den solgt til Peder Biering, Sejlstrupgaard. Han overlod godset til sin svigersøn Erich Hansen Wilsbech, der lod kirken forfalde - jf. ovenfor. Der kom så mange klager over ham, at han blev fradømt retten til at eje kirken, hvorefter den atter overgik til kronen. Gode forbindelser til biskoppen sikrede dog, at han fik kirken tilbage. Erich Hansen Wilsbech fjerne i 1793 kirkeklokken. Da beboerne klagede, tog han uden videre Sejlstrup kirkes klokke og hængte den op i stedet for. Den hænger i dag i Rubjerg i kapellets østgavl. Efter Erich Hansen Wilsbechs død blev gods og kirke solgt på tvangsauktion i Hjørring i 1811. De bønder i Rubjerg, der betalte tiende, mødte op og købte deres kirke for 1565 rigsdaler. Tre år senere solgte de blytaget for 1487 rigsdaler og erstattede det med et tegltag, så kirken kun stod dem i 78 rigsdaler.

Poul Nørlund og Egmont Lind nævner i Danmarks romanske Kalkmalerier, 1944, at Rubjerg som den ene af tre vendsysselske kirker har haft romanske kalkmalerier - dog ikke ældre end 1250. De to andre er Tårs og Bindslev. I en fodnote på s. 8 hedder det: »Arkitekt Uldall oplyser i 1887, at der paa triumfvæggen saas »stukglorier« efter en apostelfrise, men det lykkedes ikke at fremdrage figurerne.«

Gravsted