La Casa Hermandad, o sede social de la Cofradía, se encuentra en la planta sótano del edificio situado en Plaza de Aguilar, 4 de Lucena (Córdoba), justamente en el mismo lugar donde antaño se levantaba la iglesia del llamado "Hospitalico" donde se encontraba la Imagen del Cristo de los Desamparados, hoy Santísimo Cristo de la Salud y Misericordia, titular de la Hermandad.
La sede es propiedad de la Cofradía y se obtuvo gracias al empeño y arrojo de los hermanos de la Hermandad de Tambores. Así, en 1.985, siendo Hermano Mayor D. Jacinto Jiménez Rodríguez se inauguró y bendijo en presencia de la imagen del Cristo del Silencio que fue trasladado para la ocasión. Posteriormente, la sede sufrió una profunda remodelación cuyos trabajos finalizaron en febrero de 1.991.
En ella, además de custodiar los enseres de la Cofradía, existe una oficina y un amplio espacio para celebrar toda clase de eventos relacionados con el mundo Cofrade. Tanto es así que ha servido para dar catequesis, charlas de formación, ponencias, etc. Es el marco donde la Hermandad celebra su tradicional y esperada "Misa de Regla" cada jueves anterior al Viernes de Dolores y donde se celebran todos los Cabildos generales.
La sede del Silencio es, tradicionalmente y desde hace muchos años, un lugar de encuentro de los hermanos, cofrades y amigos durante la cuaresma, ya que sus instalaciones se abren de lunes a viernes de 9 a 12 de la noche.
Así mismo, también durante la cuaresma, se celebran en ella los ensayos de tambor de los hermanos que participarán en las estaciones de penitencia tocando el característico tambor enlutado de la Hermandad.
En ella se exponen fotografías de la historia de la Hermandad, de la Imagen Titular, de las cuadrillas de santeros, de los Hermanos Mayores, de los hermanos galardonados con el Tambor de Oro, etc.
Fundamentalmente durante el Curso Cofrade 2.013-2.014, la sede ha sufrido una importante remodelación que la ha actualizado con los tiempos que corren. Se ha instalado una completa iluminación decorativa, nuevos paneles fotográficos, remodelación de la zona de barra, aseos y oficina. Y la guinda de estas mejoras ha sido dotarla de un espacio para exponer el patrimonio de la Hermandad.
La inauguración de la Casa Hermandad en 1.985, contó con la presencia del Cristo del Silencio. Ha sido, hasta la fecha, la única ocasión en que el Cristo de la Salud y Misericordia ha visitado la sede de su Cofradía.