Idéen om Castberggård opstod helt tilbage i slutningen af 1960'erne, hvor døveforeninger fra Horsens, Vejle og Herning i 1966 samledes med det formål at finde frem til en måde, hvorpå de kunne organisere et kultur- og feriecenter for deres medlemmer.
Resultatet af deres møder blev i 1968 til et udkast for en "Jysk kulturgård for unge og voksne døve og svært tunghøre."
