Đây còn được gọi là "lâu đài Chidori" bởi phần mái giống như con chim đang giang rộng cánh. Nằm ở địa thế trung tâm, tọa lạc trên đỉnh một quả đồi cao có thể bao quát bốn bề. Đây là một trong 12 lâu đài tại Nhật Bản vẫn giữ được kiến trúc cho dù chiến tranh, thời gian và thiên tai tàn phá.

 Sau trận chiến Sekigahara ở Keicho (1600), Tadamin Horio và cha của ông nhìn thấy vùng đất Matsue từ đài quan sát Kanzan (Tokohayama) và đưa ra kết luận, nơi này thích hợp để xây dựng một tòa lâu đài. Matsue được xây dựng vào năm 1607, hoàn thành năm 1611.

 Hình ảnh biểu tượng xuất hiện bên lối vào là võ sĩ Samurai, đây được xem là những “quý tộc” trong quân đội Nhật Bản xưa. Những võ sĩ Samurai đầu tiên xuất hiện từ thời trung cổ ở Nhật Bản. Tinh thần võ sĩ đạo là giá trị vô hình để lại trong đời sống văn hóa truyền thống Nhật Bản.

 Tòa lâu đài năm tầng làm bằng gỗ được đặt trên một phần móng kiên cố ghép bằng đá tảng, có cấu trúc như một tháp canh, đỉnh tháp là nơi đặt các khẩu pháo, súng bắn đá, cung tên...

 Lâu dài bao gồm một tháp pháo gắn ở phía trước, với cấu trúc nhìn toàn cảnh, sử dụng tấm ván đen dày và tường đá. Tầng trên cùng nay trở thành vọng cảnh đài, là nơi du khách có thể ngắm nhìn cảnh quan thành phố Matsue.

 Lâu đài Matsu là một cấu trúc phức hợp với 4 phần, 5 tầng và một tầng hầm, chiều cao 30m. Vào năm 1888, nơi đây được sửa chữa một phần, chi phí lấy từ tiền bán vé tham quan.

Tháng 8/1892 lâu đài bị tàn phá nặng nề bởi bão, sau đó một cuộc đại tu  diễn ra và hoàn tất vào năm 1894 nhờ sự đóng góp của người dân Matsue. Dù được bảo trì và sửa chữa nhiều lần kể từ khi được xây dựng song lâu đài vẫn duy trì nguyên vẹn vẻ ban đầu cho tới ngày nay.

 Kết cấu khung gỗ là kiến trúc xây dựng đặc biệt thời đấy, trong đó sử dụng nhiều trụ cột trải rộng các tầng được gia cố bằng các tấm gỗ thông hoặc cố định bằng kết cấu sắt.

 Cặp đuôi cá cổ khổng lồ lắp ghép trên mái trước kia đặt trên đỉnh, sau khi tu sửa nhiều bộ phận của lâu đài không thể tồn tại với thời gian đã được lưu giữ dưới tầng hầm để phục vụ khách tham quan. Phần này đã được thay thế bằng cặp đuôi cá mới.

 Chiếc trống cổ được thay cho những chiếc kẻng báo, được đặt dưới chân lâu đài, khi thấy nguy hiểm sẽ được đánh để thông báo với lãnh chúa, ngoài ra trống còn sử dụng trong hội quân.

 Khu vực trình chiếu về lịch sử, các đợt trùng tu của lâu đài để du khách hiểu hơn về điểm đến. Hàng năm lâu đài Matsue đón cả triệu khách du lịch đến tham quan, đặc biệt là mùa xuân khi hoa anh đào nở.

Năm 1935 nơi đây được chứng nhận là Kho báu quốc gia. Do sự thay đổi trong đạo luật bảo tồn di tích văn hóa, lâu đài được chỉ định thành di tích văn hóa quan trọng vào năm 1950. Nhưng đến 2015, một lần nữa lại được đổi thành Kho báu quốc gia.