石谷家は、近世・近代を通じて地域社会の躍進に大きな役割を担ってきました。

古くから屋号を塩屋といい、元禄時代初め（１６９１年）ごろに鳥取城下から移り住み、本拠を構えました。その後、伝四郎、伝九郎、伝三郎を繰り返し襲名しながら栄えてきました。石谷家が大庄屋に命じられたのは明和９年（１７７２）２代目伝三郎からです。大庄屋とは農民側の在方役人で、裕福で人望と教養を備えた人物が選ばれました。伝三郎は１３年間にわたって大庄屋を務めましたが、文化１０年（１８１３）からは初代伝九郎が就任しました。文政５年（１８２２）以降は、大庄屋を分家や国米家に譲り、もっぱら地主経営や宿場問屋を営むようになりました。　明治に入り、２代目伝九郎は商業資本家として躍進し、地場産業の振興を図りながら、地域経済を支え、救済事業・学校建設・道路改修など、篤志家として町の進展に尽くしました。

石谷伝四郎（１８６６～１９２３）の代には、政治家として明治２８年から大正１２年までまで国政に携わりました。衆議院議員、後に貴族院議員に選出されました。伝四郎が智頭の自邸を大正８年から約１０年かけて改築させた大規模な木造家屋が今の「石谷家住宅」です。

明治３０年代は伝四郎が山林経営と農民金融を発展させ、「因美線」の開通（大正１２年）では私財も投じて完成に導きましたが、この年、自宅の改築が進むなかで東京帝国ホテルにて客死しました。伝四郎の死去の後は、戸主がまだ幼少のため、伝四郎の弟の伝市郎が事業を継承して完成させました。

石谷家住宅の現状にみる姿は、大正8年に始まり昭和初期に及ぶ長年月にわたる建設工事の結果です。石谷伝四郎による大規模な家屋建設以前、石谷家は江戸時代以来問屋家業に適した町屋形式でした。明治時代になると石谷家は山林経営を大規模に行なうようになりました。このために石谷家は、住宅であるとともに山林経営の事業所をもつ形態に大きく転換されました。

主屋が古くなったこともあって、敷地を拡大し、山林経営に適するものに変えたのが、石谷家の大正新築事業です。それは一般民家のものではなく、多くの座敷や部屋は林業経営の事務所としての性格を強く反映しており、そこに多くの座敷や部屋がある理由があります。

このように、山林経営の中で石谷家は敷地を拡張し、家構えを町屋形式から屋敷形式に変え、山林経営に相応しい家屋敷の構えにしてきました。 敷地は広大で、そこに建つ建物、築かれた庭園は、用いている資材、デザイン、施工技術ともに最高の水準にあり、その完成度はすこぶる高いと評価されています。

石谷家住宅は、日本が前近代的なものを多く引きずりながら近代化を強力にすすめた時代に行なわれており、その時代背景もよくあらわしています。また、石谷家には当時の建築図面や文書が多く残されており、それらは建築本体と共に近世から近代への建築技術の推移を示す貴重な資料として評価されているところです。