La iglesia ocupa el lugar mas estratégico de la población; a modo de un pequeño fuerte, domina el territorio y sus pasos desde la altura que le da el empinado cerro donde se asienta Castañar de Ibor. Es el lugar mas fuerte y muy probablemente, el primer embrión de la población.
El conjunto tiene cuatro partes bien diferenciadas: nave central, ábside, torre y naves laterales (capilla y sacristía). La nave es rectangular, con orientación este-oeste.
De fuertes muros de mampostería de pizarra principalmente, aunque también usan cuarzos y cuarcitas. Actualmente presenta una sola puerta con arco de medio punto en el lado norte, sin embargo, antiguamente había otra entrada en el lado opuesto, esta tiene un curioso arco conopial que se asemeja a los de la Iglesia de Cabañas del Castillo o Solana, entre las mas cercanas. Este es muy utilizado del siglo XI al XIII, según algunos testimonios, en la puerta actual habría otro igual a este.
El techo tiene un bonito artesanado de maderas que se apoyan en dos filas de columnas, también de madera. Esto hace que la nave aparezca como dividida en tres tramos. El lugar destinado a la gran pila bautismal, realizada en una sola pieza de granito, es la parte baja de la torre.
El coro que ocupa la parte trasera de la iglesia es bien amplio, desde él se accede a la torre por una puerta que conduce justo encima del baptisterio. Por una escalera de hierro se accede a la parte superior donde están las campanas y lo que queda del mecanismo del reloj.
Al estar pintados los exteriores de blanco no se puede apreciar muchos aspectos constructivos, pero en el interior de la torre están marcadas las huellas de otros huecos para campanas en niveles inferiores.
Seguramente cuando se construyó el abside se elevaría unos metros la altura de la torre dando mas esbeltez al conjunto.
El abside es la gran obra que se realiza en el siglo XVI al calor de la bonanza económica propiciada por el oro americano y la situación de hegemonía de la Corona de España en el mundo
A escasos metros del altar se expone el famoso Cristo de la Avellaneda. Una talla hiperrealista del siglo XV, policromada con gran esmero y detalle. Es un ejemplar muy original y poco frecuente, antes estaba en la Avellaneda y con el abandono de la población vino a parar a la iglesia de Castañar.
También hay un púlpito totalmente policromado; tanto por dentro como por fuera: decorado con pinturas de traza antiquísima, representan los cuatro padres de la iglesia: San Jerónimo, San Gregrorio, San Agustín.
