Según nos narra Amelia Comba i Comba, la cual fue Cronista Oficial de Algar de Palancia durante muchísimos años, la denominada “Torre de guaita àrab”, situada en las proximidades, y que data del siglo VIII o de principio del siglo IX, en el lugar que hoy ocupa el casino, en la planta baja, y el Ayuntamiento en los pisos superiores, y a cuyo alrededor parece que se fueron construyendo las primeras casas y calles del pueblo, durante el siglo XVI amenazaba ruina y se consideró necesario hacer una gran reforma, derribando algunas de las plantas superiores (la torre era el doble de alta que lo es actualmente) y reforzando sus muros y fundamentos. 

El administrador de las rentas del pueblo, designado por la Orden de la Merced, residía en la “Torre de guaita”, pero teniendo en cuenta que las obras de restauración de esta habían de durar mucho, se edificó una casa-palacio, al estilo de la época, pero muy señorial, por el Barón de Algar, que con frecuencia venía a ver la marcha de las obras y, en su ausencia, este nuevo edificio, denominado “Casa del Baró”, estaba ocupado por el administrador. 

Como consecuencia de la desamortización del ministro español Mendizábal el año 1833, la “Casa del Baró” pasó a dominio del municipio, ubicándose en ella el Ayuntamiento hasta que este pasó a ocupar no hace muchos años las plantas superiores de la Torre de guaita, también propiedad municipal, restaurada y reformada en profundidad. 

Actualmente, después de una gran reforma y remodelación, llevada a cabo por el Ayuntamiento y con las subvenciones otorgadas por la Diputación de Valencia y la Generalitat, la “Casa del Baró” es hoy la Casa de Cultura, la cual cuenta con una digna Biblioteca y varias dependencias para las entidades y asociaciones locales como la Comunidad de Regantes Ntr. Sra. De la Merced y la asociación artesanal de bolilleras, en la planta superior, estando la planta baja destinada al Centro Primario de Salud.