オプションで自動的に書式や数式が拡張される設定になっている為、この様になります。Excelの初期設定からこのオプションは有効になっている、おせっかい機能です。
※下図の状態でA4のセルに数字を入力すると勝手にA4のセルも黄色で塗りつぶされます。
[ツール]→[オプション]→[編集]のタブで[データ範囲の形式および数式を拡張する]のチェックを外してOKします。
ボタン→[Excelのオプション]→[詳細設定]のタブで[データ範囲の形式および数式を拡張する]のチェックを外してOKします。
[ファイル]→[オプション]→[詳細設定]のタブで[データ範囲の形式および数式を拡張する]のチェックを外してOKします。