Kunstmuseet er bygget til minne om Holmsbumalerne etter initiativ av Henrik Sørensens sønn Sven Oluf. Selve bygget ble reist av folk fra Holmsbu. Bygningen er oppført i mur og forblendet med store stener av Hurumgranitt som er funnet i ura på stedet. Bygningen er tegnet av Bjart Mohr og den sto ferdig i 1973. Tildelt Houens fonds diplom i 1983.
