별장의 범위는 주거용 건축물로서 늘 주거용으로 사용하지 아니하고 휴양ㆍ피서ㆍ놀이 등의 용도로 사용하는 건축물과 그 부속토지를 말한다. 다만, 「지방자치법」 제3조제3항 및 제4항에 따른 읍 또는 면에 있는, 다음의 범위와 기준에 해당하는 농어촌주택과 그 부속토지는 제외한다. 다만 별장의 범위에서 제외되는 범위와 기준에 해당하는 농어촌주택과 그 부속토지는 다음의 요건을 갖춘 농어촌주택과 그 부속토지를 말한다.
건축법령에서 별장은 건축물의 용도분류에서 별도의 분류대상으로 되어 있지 아니하고, 지방세법령에서도 이를 판단함에 있어 그 소재 지역, 구조, 규모, 휴양시설의 구비여부 등에 관한 아무런 기준을 정하지 아니하고 있으므로, 별장12) 여부를 판단함에 있어서는 위 중과세의 입법취지에 비추어 그 취득목적이나 경위, 당해 건물이 휴양 등에 적합한 지역에 위치하는지의 여부, 주거지와의 거리, 당해 건물의 본래의 용도와 휴양 등을 위한 시설의 구비 여부, 건물의 규모, 가액, 사치성 및 관리형태, 취득 후 소유자와 이용자와의 관계, 이용자의 범위와 이용목적과 형태, 상시 주거의 주택 소유여부 등 구체적 사정을 종합적으로 고려하여 객관적·합리적으로 판단하여야 할 것이다(대법원 1995. 4. 28. 선고 93누21224 판결 등 참조).
따라서 별장이 되기 위한 요건으로서 반드시 자연경관이 수려한 장소에 위치할 필요는 없는 것이며, 「건축물의 용도와 사용형태」에 따라 판단할 수밖에 없는 것이므로 도심지 내에서도 사용하는 형태가 피서․위락용으로 사용되는 것이라면 별장에 해당되는 것이다.
별장 등을 구분하여 그 일부를 취득하는 경우는 별장·골프장·고급주택·고급오락장 또는 고급선박을 2명 이상이 구분하여 취득하거나 1명 또는 여러 명이 시차를 두고 구분하여 취득하는 경우로 한다.
또한 별장의 부속토지 경계는 원칙적으로 1구를 기준으로 판단하여야 하는바, 여기서 1구는 1필지의 토지를 의미하는 것이 아니라 수필지라도 관계없으며, 담장 등 울타리로 구획된 토지부분을 의미하기 때문에 고정된 울타리이어야 한다. 따라서 별장의 부속토지를 판단하기 위해서도 1구의 부속토지를 의미하므로 이는 공부상이나 건축허가상 주택의 부지로 되어 있는 토지를 말하는 것이 아니라 실제로 담장이나 울타리 등으로 경계가 지워진 주택의 부속토지를 의미한다(대법원 91누10985, 1993.7.27. 참조). 또한 「1구의 주택」 판단기준도 전체로서의 경제적 용법에 따라 하나의 주거생활단위로 제공되는지 여부에 따라 합리적으로 판단해야 하며, 1구 내에서도 주거생활을 달리하는 경우에는 별도로 1구의 주택 여부를 판단하여야 한다.
별장 중 개인이 소유하는 별장은 본인 또는 그 가족 등이 사용하는 것으로 하고, 법인 또는 단체가 소유하는 별장은 그 임직원 등이 사용하는 것으로 하며, 주거와 주거 외의 용도로 겸용할 수 있도록 건축된 오피스텔 또는 이와 유사한 건축물로서 사업장으로 사용하고 있음이 사업자등록증 등으로 확인되지 아니하는 것은 별장으로 본다.
별장용 건축물에 해당하기 위해서는 그 건축물의 사실상의 현황에 의하여 별장용으로 사용하고 있으면 족하고, 그 건축물 이외의 다른 주택을 소유하고 있지 않다거나, 그 주택의 위치 및 시설 면에서 소유자의 주관으로 보아 휴양, 피서 또는 위락의 용도를 사용하기에 적합하지 아니하다는 것은 지방세법상 소정의 별장에의 해당여부에 아무런 영향도 줄 수 없다는 것이다.(대법원 94누 8280, 8297, 1994, 11.11 참조)