Základní kámen k pohledskému konventnímu kostelu původně zasvěcenému Nanebevzetí Panny Marie byl položen v roce 1265 kouřimským arcijáhnem. Další zprávy máme z roku 1267, kdy papežský legát Quido vyhlásil pro návštěvníky tohoto nově zbudovaného svatostánku odpustky. Mariánský kostel je raně gotický, avšak upravovaný po zničení v době husitských válek v roce 1422. Tehdy byl celý konvent i s klášterem vypleněn. O stavebních úpravách po husitských nájezdech svědčí i nové zaklenutí lodi provedené roku 1494.
Jednolodní stavba je přepažena směrem k východu vítězným obloukem ústícím do presbytáře, avšak tento oblouk není umístěn na ose lodi, nýbrž je vychýlen směrem na sever. Oblouk je zaklenut asi ve dvou pětinách šíře stavby, jež činí 9 metrů, a severní zeď kostela je tak prodloužena o zeď presbytáře. Kamenné zdi nesou venkovní opěráky, které jsou u hlavní lodi dvoustupňové, u presbytáře třístupňové. Do kostela se vchází předsíní - renesanční přístavbou z konce 17. stol., na kterou navazuje původní portál, pozdně gotická práce z poslední čtvrti 15. století. Vstup do kostela býval ještě jeden - z prvního patra konventu bylo možné sejít úzkou chodbou s dvěma hrotitými okénky; dnes je zazděn a sloužil pohledským cisterciačkám pro příchod na konventní mše.
Loď kostela vysoká 23 metrů je sklenuta síťovou klenbou z cihel s žebry z červeného pískovce. Každé tři žebra jsou zakončena konzolami zdobenými maskami. V západní části hlavní lodi je vystavěna desetimetrová kruchta pocházející z 2. poloviny 15. století. K hlavnímu prostoru kostela patří rokoková mříž z roku 1752, kterou doprovází barokní varhany, původně monumentální nástroj se 17 rejstříky a 2 manuály dílo Kašpara Welzela. Modernizace nástroje proběhla v roce 1928.
Hlavní kostelní oltář je dílem sochaře a řezbáře Řehoře Thényho z let 1730-1740; Thény ho obklopil sochami dvou apoštolů - sv. Ondřeje a sv. Judy-Tadeáše - a sochami dvou otců cisterciáckého řádu - sv. Benedikta a sv. Bernarda. Kazatelna a oltář Piety Salvatora Chrudimského, umístěný na stěně vítězného oblouku, pocházejí z období před rokem 1750. Na jižní stěně kostela je boční oltář sv. Jana Nepomuckého s dvojicí soch svatého Jana Evangelisty a Jana Křtitele, doplněný o skleněnou rakev se skeletem mučedníka svatého Kandida.
Druhý boční oltář na jižní stěně z roku 1740 je zasvěcen Svaté Rodině, kterou doprovázejí řezby sester cisterciaček z dílny Řehoře Thényho. Pod obrazem se nachází druhá skleněná rakev s ostatky svatého Faustina; ostatky sem byly přeneseny roku 1775 z římských katakomb. Poslední boční oltář zasvěcený Panně Marii je umístěn na severní stěně kostela vedle vstupu. Po zrušení kláštera v roce 1782 se kostel stal farním a byl nově zasvěcen svatému Ondřeji.
Roku 1797 byly postaveny dvě nové kostelní věže; staré hrozily zborcením. Věže nesly pět zvonů - tři nejstarší zřejmě z roku 1300 - ale dnes zůstala jen umíráček na západní věži. Východní věž byla osazena dvěma barokními zvony z let 1698 a 1700, z dílny jihlavského zvonaře Christiana Joachima; starší z nich pukl v roce 1930 a zůstal ve věži až do roku 2005. Po válce došlo k rekvizicím; na původní zvony navázaly nové, avšak mnohé nebyly završeny.“
Z nápisů na zvonu vyplývá, že na pořízení zvonů přispívaly i starousedlé rody místních sedláků. V roce 1930 byly odlity dva nové zvony - Anna (290 kg) a menší Ondřej (163 kg) - které však nebyly dokončeny kvůli druhé světové válce. V roce 1934, po požáru, kostel obdržel novou eternitovou střechu, kterou hradila pohledská komuna; v roce 1935 farář Krpálek pořídil nové věžní hodiny a roku 1939 uspořádal sbírku na opravu omítek a rekonstrukci interiérů. V roce 2003 byla střecha pokryta šindelem, a na konci roku 2005 vysvěceny dva nové zvony - sv. Václav (224 kg) a sv. Ondřej (385 kg).
Od roku 2008 farnost pravidelně opravuje venkovní opěráky a omítky pláště kostela za pomoci Ministerstva kultury ČR, Kraje Vysočina a obce Pohled. Dále probíhají práce na hydroizolaci předsíně, vyklízení sklepa a obnova konventních krypt pod presbytářem a kaplí Všech Svatých. Kaple Všech Svatých byla k konventnímu kostelu přistavěna v roce 1698; v roce 2015 nechala farnost restaurovat pozoruhodnou dřevěnou sochu sv. V. Interní krypta ukazuje na empírový kenotaf Marie Anny z Unwerthu, který byl vyhotoven sochařem Vincencem Prachnerem a dokončen v roce 1817. Kenotaf byl původně umístěn pod vítězným obloukem, poté byl přemístěn na severní zeď kostela.
V sousedství kostela se nachází zámek a Poutní areál sv. Anny. V průběhu let byly provedeny další restaurátorské práce; např. kaple Všech Svatých byla doplněna o vlastní vchod ze severní strany a propojila se s původním mariánským kostelem. Pohledská farnost pořádá svatoanenské poutní slavnosti - hlavní program se koná v kostele sv. Anny u Pohledu a v kostele svatého Ondřeje, apoštola v Pohledu. Slavnosti začínají modlitbou a mší svatou a mají dlouhou tradici v regionu.
