設計では立派な門が計画されましたが、昭和１７年頃まで道路からの入り口は現在の入り口より２０ｍ程右手から入り、水路沿いに下り大門へ入っていました。戦後、幅を広くし木製の柱に扉を付けた現在の姿になりました。昭和４８年代に門柱を木製から鉄製に改造しました。

当初は人力車の車庫、車夫の待機場所として使用されました。その後は自動車の車庫と従業員の更衣室として使われ、車庫は昭和の初期に自動車を入れるために増築され広くなっています。

江戸時代、鳥取藩主の参勤交代の時、殿様は御本陣に宿泊しました。随行の上級武士は石谷家を宿泊所として使用されていました。その名残として家の格式を表すために武家風の式台が造られました。（総欅造り）

主屋は桁行十一間五尺（23.3m）、梁間七間（13.8m）、二階建て。街道に面さず引き込んだ位置に建っています。入母屋造り桟瓦葺きの大屋根の四周に、桟瓦葺きの庇屋根を巡らせた規模の大きな建築です。棟札は見つかっていませんが、建築当時の建築帳によれば、本 石谷家臨時建築事務所が工事をとり仕切り、大正十三年八月二十九日に立柱式をおこなっています。

昭和三年には、一応の完成となりました。平面形式は大規模農家に似ていますが、正面側に玄関棟、東側上手に新建座 敷が付属し、全体としてきわめて発達した座敷空間を持つようになりました。これは当家が手広く山林経営をおこない、上客の接客の機会が多く、また「谷」（山の管理区分）を 統括する山番の集まりが必要であったことを示すものです。　上手背面側に家族室（付属室）が取り付いています。当家の日常生活はこの家族室が中心でした。

このようにみると、石谷家主屋は農家に似るとはいっても、他の家とは異なって生活空間の比重が低く、山林経営、地主経営業務に関連する部屋が多かったことが分かります。民家の主屋でありながら、山林経営の本拠となる建築であったのです。　正面に廊下がつき、南側が閉鎖的である点などの、あまり伝統的でない造りは、このような理由によります。農家の系譜にあるものの、近代的な要素が見られるのです。

主屋には、巨材・良材をふんだんに用いており、寺院建築をほうふつとさせる大きな瓦屋根や、豪壮な梁組の土間空間は特に見応えがあります。建築時には上屋（素屋根）まで建設し、施主、設計士、大工が一体となり五年あまりをかけて入念に造られました。近代和風建築の一つの到達点といえる建築と評価されています。

上部構造は吹き抜けで梁には巨大な松の丸太を使い、梁の上に小屋組を使い屋根を構築しています。それを支える大黒柱や平物は欅材を使い、材料は地元の材木を使用しています。

土間から天井までの高さは約１４ｍ有り、広い空間を演出し、なおかつ重厚な雰囲気を漂わせています。勝手口を入って左奥には、ニ階建ての部屋が有り、１階は女中部屋、ニ階は階段の無い独立した部屋が有り、夜番の人の出入りは梯子を掛けてしていました。

土間の右奥には竃と水槽が備えてあり、石谷家の家人の炊事場として使用していました。また、別棟でニ号蔵と三号蔵の間に炊事棟が有り、そこでは諏訪神社の御柱祭、山番会など大勢の人が集まったときの賄をしました。（昭和３８年に火災により焼失しましたが、今回の整備事業で便所棟として復元されました。）

主人と出入りの人との商談と情報交換の場として使用され、昭和６０年代までは石谷家の組織である「山番会」の新年会が２階で開かれ、その時には囲炉裏に炭が熾され暖をとりながら談笑していました。

主に番頭が詰めていて、来客者の主人への取り次ぎ、打ち合わせ等、現在の事務所と同じ使い方をしていました。以前は畳敷きで、平成元年にフローリングに改装。

石谷家では大正１０年に電話、電気は大正３年に引かれていて、書斎主人間から近く、店にも近い現在の場所に造られました。後に２台の切り替えの電話になり、番頭が電話を受け主人に取り次ぎ、切り替えて使用しました。

囲炉裏の間より新座敷、江戸座敷へと通じる廊下。幅１間で畳３６畳敷。

元は式台より続く玄関の間でした。戦後洋風の応接室に改装し、タイル張りの暖炉を備え、床はフローリングを張り、本格的な洋間応接でしたが、平成元年に現在のように全面改装し、比較的よく使用していました。また、天井板、柱など杉材料は石谷家の裏山で切り出された樹齢３００年の杉を使用しています。

和室の応接として接客の部屋として使用。数奇屋風仕様の建築で、書院の欄間には石谷邸と諏訪神社を透かし彫りで現しています。書院障子は扇面を表し、天井板は杉の根元の部分を板目に製材して使い、濡れ縁には幅広の栗板を使用し、縁の天井には杉の柾目の幅広の天井を張り、その下に杉の小丸太の化粧垂木を取り付けた凝った造りになっています。

昭和１６～１７年に全面改装され、造作材には春日杉、床柱は屋久杉の笹杢（ささもく）を使用し、床壁は和紙の袋張りの書院造り、縁板は幅広の欅板を使い、贅を凝らした造りです。また、池泉式庭園は広がりを見せる造りになっています。

江戸座敷は大変に特徴ある建物です。建物の上部は土蔵造りで、屋根は置屋根形式です。この江戸座敷はもとは土蔵だったのですが、それをある時期に改造して客座敷に変えています。 元々は江戸時代に建てられ、安政年間に書院座敷に大改造したものです。安政3年（1856）の「御籾蔵新建諸事入用帳」（石谷家文書）には、この座敷の立替の記述があります。造作類は和釘を用いるので、江戸時代の建築と見て間違いないとされています。旧主屋の時代から、この位置に建っています。

洗面所には大理石の流しを使い、流し下の物入れの引き戸には黒部杉のアジロ組みを使用し、縁を神代杉で取っています。

便所は内装に欅の板を使い、大正時代の汲み取り式を昭和に入ってから水洗式の便所に変更したため、洋式便所になっています。また、女子便所の天井には模様が透かしてあり換気の役目を果たしています。洗面所と便所の仕切り戸は柾目の一枚板を使用し、腰から下には神代杉を腰板に使っています。

脱衣所の天井にはアジロを組み、洗面台は白大理石を使用しています。湯船は槇の木を使用し、お客様用の風呂のため少し小ぶり、現在の湯船は昭和５０年代に造り替えたものです。また、脱衣所入り口左には水屋が付いており、茶室にお客様を全て入れると小間の水屋が使用できないため、こちらの水屋を使用するために別に設けてあります。

茶室は古座敷の上手に取り付く小さな数奇屋の建物で、半分は庭園の池中に張り出しています。茶室は、昭和4年に一段落した大正新築工事の後に建てたと伝わっていますが、正確な建築時期は分かっていません。昭和戦前期の建物です。主屋を中心とする建築群からは一番遠い位置にあります。日常生活世界からはもっとも離されて配置されています。茶室に入ると、滝の音、鯉の跳ねる音のみが聞こえ、静寂の境地です。

小間（水屋）付きで、天井は杉のへぎをアジロに組み、煤竹を天井棹に使用しています。外壁の腰板には舟板を使用し、腐食しないよう考えられています。

二階への階段は隣接してニ箇所あります。一つは帳場（受付）の畳廊下から山番部屋に上る下手の階段、もう一つは主屋表側の畳廊下から神殿や山番座敷の廊下に上る上手の階段です。写真は上手の階段で、表側の廊下から緩やかな短い太鼓橋を渡って山番座敷に入ります。手摺りにカーブのある材を用い、そのデザインに若干洋風の感があります。この階段の下から天井を見上げた空間は非常に高さを感じます。

三部屋あり、身内の人の宿泊場所、その他多人数の会合等に使用、近年までは本箱が置かれ豊富な書籍が収蔵され、主人の勉強部屋にも使用されていました。

表２階へ続く廊下の突きあたりに６畳の部屋が有ります。母屋の角部屋で東と南に窓を取り、明るい部屋になっていて、現在はトイレと洗面所に改装して使用、また、天井も一見の価値があります。

主屋二階の南西隅にあって、下手の階段の方から前室三畳、次の間六畳、最も奥の座敷飾りを備える主座敷六畳半の三室の続き座敷です。主座敷の六畳半の「半」は棚脇に半間のアルコーブを作って、床・棚の並びをニ間に広げた分になります。これらの部屋は一階の受付（帳場）・大戸口土間・男部屋の上にあたる位置にあります。次の間と主座敷の間仕切りの透かし彫り欄間は、左が大山、右は隠岐島を題材にしています。

一階の主人室の真上にあり、二階座敷によって二方を囲まれています。部屋の奥に壇を作り、その中央に宮殿を置いています。天井は格天井。神聖な神殿の位置を定めるにあたっては幾つかの考え方があったようでしたが、結局は主人室の真上に決定されました。

一部屋に作り付けの拝殿を設け、石谷家の神殿としてお祭りし現在に至ります。正月には新しい飾りをかけ、右に山鳥、左に餅花をかけてお祭りします。また、神殿の窓より庭を眺めると芝庭と裏庭の一部が眺められ、下で見るより違った趣があります。

囲炉裏の間のすぐ奥の部屋で、窓の無い部屋、囲炉裏の間から主人間、食堂へと、書斎から主人間、畳廊下へと、主に通路・物置として使用。平成元年の改装で、一部を囲い、書庫として使用し、その周りを畳敷きから栗の板のフローリングに改造されました。

この２部屋は民芸運動の指導者である吉田璋也氏のデザインによります。欅材を使ったビューロー、食堂のテーブル、椅子、床等、民芸調に仕上げられ、石谷家の生活空間の中ではこの２部屋が最もよく使われた部屋です。

石谷家の主人の執務部屋であり、田の字の部屋で、この部屋だけ床・違い棚・書院が付いている。正月には家族全員が主人間に集まり新年の挨拶を交わし食事をしました。

石谷家の庭園は、江戸座敷・新建座敷に面した池泉庭園、この北側に続き、主屋上手に面した枯山水庭園、このさらに北に続き離れに面した芝生庭園とからなっています。このうち枯山水庭園、芝生庭園は石谷家の大正新築工事以降の築庭ですが、池泉庭園は大正新築工事以前の築庭です。石谷家の池泉庭園がいつ築庭されたかは明らかではありません。

天保14年「智頭宿全図」によれば、石谷家の上手隣は伊勢屋の敷地でした。この敷地にあたる位置に現在の石谷家庭園は築かれています。したがって、天保年間にはまだ庭園が無かったことは明らかです。天保からほぼ1世紀後の大正新築工事前の旧宅配置図には、現在のものとほぼ一致する規模、形の池泉が描かれています。庭園の範囲は旧伊勢屋の敷地にほぼ一致していますから、その敷地を入手した後に築庭したものと考えられます。

池泉庭園は、江戸座敷と一体のものとして作庭されています。江戸座敷は池泉庭に面して縁側を二面に巡らしており、ここから池の最も奥まったところの滝が見えるなど見所になっています。

大正９年に上棟されました。主に米蔵として使用されていたため、床板は厚く１寸３分（約４ｃｍ）有り頑丈に造ってあります。また、米俵の重みから蔵内部を壁板を守るため柱間隔を狭くし、米俵の加重を柱で受けています。近年は不要になった生活用品や、予備の建築材料の保管場所として使用していました。

一号蔵と同時進行で建てられた蔵で、１番蔵よりも少し幅は狭いですが、内部の造りは同じで、米を保管していました。また、この蔵にはニ階があり、一階に米を保管し、ニ階には生活用品を保管していました。

一号蔵、二号蔵とも棟札が残っていて、建築年月日・設計監督者・大工棟梁等が分かっています。

大正１１年に四号蔵の改築と同時に新築されました。他の蔵に比べると約半分の大きさです。自家使用の味噌、漬物等の保管。

明治１３年に新築された蔵を大正１１年に改築しています。この蔵はニ階建てで、一階は普段使いの食器類、ニ階は漆器類他、仏具・神具等石谷家が直接使っていたものが保管してありました。

表門の簡素な造りに対して裏門は立派な薬医門が造られていて、薬医門から続く源氏塀で石谷家の三方を囲んでいます。