Efter alt at dømme er dette den tredje kirke i Agger. I 1838 erstattede denne kirke en ældre, der var blevet opgivet i 1832 på grund af havets hærgen. Denne gamle kirke har muligvis erstattet en kirke, der var endnu ældre.
Byggeriet i 1838 blev finansieret ved en landsindsamling og ved et tilskud på 2.000 rigsdaler fra en fond, der var oprettet efter stormfloden 1825. St. St. Blicher, der skrev en salme til indvielsen den 23. september 1838, skriver om den nye kirke: »Den ståer … langt længere fra havet, og paa fastere Bund, oprejst ved kjerlige Landsmænds broderlige bistand.«
Kirken er tegnet af arkitekt C.F. Hansen, der bl.a. har tegnet Skagen kirke og Københavns Domkirke. Gennem årene har vejrliget været hårdt ved kirkebygningen. I 1988-89 blev tre af de fire ydermure fornyet. Kirken fik nyt tag, og den blev forlænget, så der blev plads til et dåbsværelse m.m.
Den tidligere kirke lå på en brink syd for Vester Agger by. Fra bevarede regnskaber vides det, der var tale om en beskeden kullet kirke. Koret var tækket med bly, skibet med strå. Den har formodentlig været opført af mursten og havsten i lighed med kirkerne i Lodbjerg og Lild. Der har altså været tale om en gotisk bygning. At kirken har en romansk døbefont, har medført den teori, at der har været en romansk kirke før den gotiske, således at den nuværende kirke er sognets tredje. Men sikkert er det ikke.
I 1573 og igen i 1598 omtales kirken som forfalden. Regnskaberne fortæller, at gennem 1600-tallet blev stråtaget repareret gang på gang, indtil en mand fra sognet, der havde bosat sig i Norge, skænkede midler til tagsten i 1690. Gennem årene åd havet af kysten. 1695 lå kirken 1000 alen fra havet, men i 1760 var der kun 100 alen. I 1825 skyllede det ene hjørne af kirkegården i havet. Der var nu kun 50 alen til skrænten. Fra 1829 blev kirken kun benyttet i roligt vejr. Den sidste gudstjeneste blev holdt søndag den 18. marts 1832. I en samtidig beskrivelse hedder det: »Kirkegavlen var kun nogle Skridt fra Havbrinken … Hele Kirkegaarden var overfyget af den hvide Havsand. Kirken selv var synligen sunken. Muren var regnet til Armstykkelse, Taget meer end halvt afrevet.« 1834 blev den solgt til nedbrydning. De sidste rester forsvandt under en stormflod i januar 1839. Endnu en tid efter fandt man stadig ligrester fra kirkegården.
Agger var tidligere et selvstændigt pastorat, og Thyborøn lå i sognet. Kirken blev selvejende den 1. april 1915. Den tidligere kirke blev i 1695 tilskødet Cornelia Bickers til Vestervig.
Klokken er fra 1720 og bærer indskriften: »Gloria in excelsis. Me fecit Friederich Holtzmann Hafniæ 1720.« (Ære være Gud i højeste. Mig gjorde Friederich Holtzmann i København 1720).