ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ€ξξξξξξξξξξξξξξ‘ξξξξξξξξξξξξξξξξξξξξξξξξξ‘ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ ξξξξξξ ξ‘ξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξ‘ξξξξξξξξξξξξξξξξξ‘ξξξξξξξξξξξξξξξ
ξξ
ξξξξξξξξξξξ€ξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξ
ξξξ
ξξξξξξξξξ€
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξ‘ξξξξξ
ξξξ
ξξξξξξξξξξξξ
ξξξξξ
ξξξξ ξξξξξ¦ξξξξξξξξξξ€
ξ ξ₯³ξ₯΄ξ‘ξ₯³ξ₯΅ξ
ξ ξξξ
ξξξξξξ ξξξξξξξξξξξ ξξξξξξξξξ ξξξξξ
ξξ ξ
ξξξξξξξξξξ ξξξξξξξξξξξ‘ξ ξξξξξ ξξξξξξ
ξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξξ‘ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξ€ξξξξξξξ
ξξξξξ§ξξξξξξ ξξξξξξξξξξξ ξξξξξξξξξξ‘ξ ξξξξξξ ξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξ ξ ξ₯ξ₯΅ξ₯²ξ₯²ξ¦ξ₯ξ₯·ξ₯²ξ₯²ξ ξξξξ ξξξξξξξξξξ ξ‘ξξξξξξ
ξξξξξξξ‘ξξξξξξξξξξξξξξξξ‘ξξξξξξξξξξξξξξξ
ξξξξξξξξξξ€
ξ ξ₯³ξ₯Άξ‘ξ₯³ξ₯·ξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ ξξξξξ ξξξ
ξξξξξξξξξ₯Ύξξξξξξξξ
ξξξξξξξξξ₯Έξ₯²ξ¦ξ₯Ήξ₯²ξ¦¨ξ€
ξ ξ₯³ξ₯Έξ‘ξ₯³ξ₯Ήξ
ξξξξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ₯³ξ₯»ξ₯»ξ₯²ξξξξξξξ₯΄ξ₯²ξ₯²ξ₯²ξξξξξξξξξξ
ξξξξξξξξξξ
ξξξξξ
ξξξξ
ξξξξξξξ‘ξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξ
ξξξξξξξξξξξξξξξξ
ξξξξξ
ξξξξξξξξ
ξξ€ξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξ ξξξξξ ξξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξ ξξξξξξξξξξ ξξξξξξξξξ§ξξξξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξ
ξξξ ξξξξξξξξ ξ
ξξξξξ ξξξξξξξξξξξξξξ‘ξξ
ξξξξ¦ξξξξξ
ξξξξξξξξξξξξξξξξξξξ ξξ
ξξξξ€ξ ξξξξξξξξ‘ξ ξξξξξξ ξξξξξξξξξξξξξ
ξξξξξ
ξξξξξξξ
ξξξξξξξξξ₯Ύξξξξξξξξξξξξξξξξξ₯Έξ₯²ξ¦ξ₯Ήξ₯²ξ¦¨ξ‘ξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξξξξξξξξξξξξ
ξξξ€
ξξξ
ξξξξξ ξξξξξξξξξ ξξξξξξξ
ξξξξξξξ ξξξξ ξ₯΄ξ₯²ξ₯³ξ₯²ξξ ξξξξξξξξ ξξξξξξξξξ
ξξξξξ ξξξξξξξξξξ ξξξξξξξξ€
ξ ξ₯³ξ₯Ίξ‘ξ₯³ξ₯»ξ
ξ ξξξξξξξ
ξξξξξξξξξξ
ξξξξξξξξξ ξξξξξξξξ ξξξξξξξξξξξ ξξξ
ξξξξξξξ ξξξ
ξξξξξξ ξξξξξξ‘ξ ξξξξξξξ ξξξξξξξξ‘ξξξξξξξξξξξ
ξξξξξξξξ ξξξ
ξξξξξξ ξ ξξ
ξξ ξ‘ξ
ξξξξξξξξξξξ
ξξξξξξξ
ξξξξξξξ ξξξξ ξ‘ξξξξξξξξξξ§ξξ
ξξξξξξξξξξξξξξξξξξξξ€ξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξ
ξξξξξξξξ₯Ύξξξξξξξξξξξ
ξξξξξξξξ₯Ίξ₯·ξ¦ξ₯»ξ₯²ξ¦¨ξ€
ξ ξ₯΄ξ₯²ξ‘ξ₯΄ξ₯³ξ
ξξξξξξξξξξξξξξξξξξξξξξ
ξξξξξξξξξ
ξξξξξξξξξξξξξ ξξξξξξξξξξξ ξξ
ξ
ξξξξ
ξξ ξξξ ξξξξ
ξξξξξξξ ξξξξξ
ξξξξξξ ξξξξ ξξξξξξξ
ξξξξξξ ξξξξξ€
ξ ξ₯΄ξ₯΄ξ‘ξ₯΄ξ₯΅ξ
ξ ξξξξξξξξ‘ξ ξ
ξξξξξξξ
ξξξξξξξ ξξξξξξξξξ
ξξξ§ξξ
ξξ ξξξξξξξξξξξξξξξξξ ξξξξ ξξξξξξξξξ ξξ
ξ
ξξξξ
ξξ ξξξξξξ€
ξ ξ₯΄ξ₯Άξ‘ξ₯΄ξ₯·ξ
ξ ξξξξξξξξξξξ ξξξξξξξξξξξξξξ
ξξ ξξξ ξξξξ
ξξξξξξ
ξξξξ ξξξξξξξξξξξξξ ξξξξξξξ‘ξ ξξξ
ξξξξξξ‘ξ ξξξξ ξξξξξξ
ξξξξξξ ξξ
ξξ ξ ξξξξξξξ ξ ξξξ ξξξξ ξξξξξξξ ξξξξξξξ ξξξξξξξξ ξξξξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ‘ξξ
ξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξξ
ξ
ξξξξ
ξξξξξξξξξξξξξξξξξ
ξξ€
Linear regression remains widely used due to its transparency, computational efficiency, and ease of
interpretation.
[26,27]
The coefficients directly indicate how each feature impacts property value, making results
accessible to appraisers, lenders, and regulators without specialized machine learning expertise. However,
standard linear models using raw features typically achieve modest performance, with RΒ² values around
70%.
[28,29]
This limitation has driven researchers toward ensemble methods and neural networks, which can
exceed 85% accuracy but lack the interpretability required by regulatory frameworks and professional
appraisers.
Recent research explores enhancing linear regression through systematic feature engineering.
[30,31]
rather than
abandoning it for complex algorithms. Feature engineering-the process of creating new predictive variables
from existing data through mathematical transformations, combinations, and domain knowledge-can capture
non-linear relationships and interactions within a linear framework. Studies show that interaction terms, ratio
features, polynomial transformations, and location-based composites can substantially improve
performance.
[32,33]
This approach preserves model interpretability while closing the accuracy gap with black-box
methods. This study contributes to this research direction by developing and evaluating a comprehensive
feature engineering framework for residential property valuation using linear regression. We hypothesize that
strategic feature creation, combined with careful preprocessing and regularization, can achieve RΒ² values
approaching 75-80% while maintaining the transparency advantages of linear models. This study addresses a
critical gap: can strategic feature engineering enhance linear regression performance while maintaining
interpretability? Using the King County House Sales dataset from Kaggle,
[5]
which provides comprehensive
residential transaction data from the Seattle metropolitan area, we developed an advanced feature engineering
pipeline. Our approach creates interaction terms between key variables, polynomial features to capture non-
linearity, ratio features for relative measurements, temporal features for property age and renovation status,
quality indicators, location-based composites, and logarithmic transformations to handle skewed distributions.
2. Methods
2.1 Dataset description
The King County House Sales dataset was obtained from Kaggle,
[5]
containing 21,613 residential property
transactions in King County, Washington, from May 2014 to May 2015. The dataset includes 21 original features
as listed in Table 1.
2.2 Data exploration and preprocessing
Initial exploratory data analysis examined univariate distributions, bivariate relationships, and correlation
structures.
[35,36]
Price distribution histograms revealed positive skewness, with concentration in the $300,000-
$600,000 range and a long right tail representing luxury properties (Fig. 1). Outlier detection employed the
interquartile range method.
[37]
with a 1.5 Γ IQR threshold applied to continuous features. This process identified
and removed 1,146 observations (5.30%), resulting in a cleaned dataset of 20,467 properties. Outlier removal
was necessary to prevent extreme values from distorting model coefficients and degrading prediction accuracy
on typical properties. The dataset exhibited no missing values, facilitating comprehensive analysis without