Khi xưa, Đền Bà Hoàng tọa lạc ven chân núi Kim Pha sừng sững, bạt ngàn rừng đại ngàn nhiệt đới nguyên sinh; cạnh đó, là núi Mã Phi như bầy ngựa chiến nhấp nhô tung vó in hình lên lưng trời xanh thẳm. Phía bên phải là con suối nước trong vắt quanh năm rì rào chảy về cánh đồng Nà Cạn cung cấp nước cho lúa và hoa màu tươi tốt quanh năm. Toàn cảnh phía sau đền như bức tranh thủy mặc rồng bay, phượng múa, sơn thủy hữu tình đẹp huyền ảo, làm cho ngôi đền thêm linh thiêng.

Đền được xây bằng gạch, ba gian lợp ngói âm dương, mỗi gian rộng chừng 3m; hai đầu hồi có trang trí Lưỡng phượng chầu nhật. Năm 1947, thực dân Pháp phá đền, dựng đồn bảo vệ sân bay Nà Cạn, ngôi đền bị phá hủy hoàn toàn, chỉ còn trơ lại nền gạch, không còn dấu tích xưa. Để đáp ứng nhu cầu tín ngưỡng tâm linh, năm 2016, bằng nguồn kinh phí xã hội hóa, nhân dân vùng Nà Cạn đã dựng lại đền trên nền cũ, mặt tiền hướng Tây-Nam. Gian giữa có một bệ thờ đặt tượng Bà Hoàng đội mũ màu vàng. Hai bên là 02 ban thị giả và 02 ban phụ; phía dưới chính tượng là ban thổ công. Phía trái là cổng đường vào đền. Mặt trước đền được trang trí hoa, cây cảnh, đôi phượng hoàng, lư hương, con rùa đá…để phục vụ cho nghi lễ chùa.

Minh Đức Hoàng Hậu là người phụ nữ Việt Nam danh tiếng, một thời lừng lẫy gắn liền với một chặng đường lịch sử dựng nước và giữ nước hào hùng của dân tộc trên vùng đất biên viễn phía Bắc chúng ta. Vào thế kỷ XI, năm Mậu dần 1038, một tù trưởng tên là Nùng Tồn Phúc ở châu Quảng Nguyên (vùng đất Cao Bằng ngày nay) tự xưng là Chiêu Thánh Hoàng Đế, đặt quốc hiệu Trường Sinh, lập vợ là A Nùng làm Hoàng hậu, cát cứ một vùng rộng lớn đối diện với Nhà Tống ở bên kia biên giới. Triều Lý cho là làm phản, năm 1039, Vua Lý Thái Tông thân chinh thống lĩnh đại quân lên Cao Bằng dẹp loạn, bắt được Nùng Tồn Phúc và con trưởng Nùng Trí Thông dẫn giải về kinh đô xử tội. Hai mẹ con A Nùng và con thứ là Nùng Trí Cao chạy thoát thân. Năm Tân tỵ niên hiệu Càn phủ hữu đạo thứ ba triều Lý 1042, Trí Cao thừa kế chức cha xin dâng biểu triều đình. Vua Lý thương tình, ra chiếu tha tội và cho mẹ con Trí Cao cai quản châu Quảng Nguyên để giữ vững vùng đất phên dậu và còn ban cho đô ấn, phong chức Thái bảo. Năm Nhâm ngọ niên hiệu Minh đạo nguyên niên 1043, hai mẹ con chiếm cứ được ba châu: Do Lôi, Hỏa Động, Thảng Do và dựng nên nước Đại Lịch. Nhà Lý cho thêm 4 động: Hỏa Lôi, An Bình, Bà và châu Tư Lang. Sau đó, Trí Cao dâng biểu triều đình dẫn binh đi đánh Ung Châu Nhà Tống, mở mang bờ cõi. Cuộc chinh phạt đánh đâu thắng đấy, kết cục lấy được cả vùng đất Lĩnh Tây. Năm 1049, Trí Cao và bà A Nùng chiếm giữ được châu An Đức, tự xưng là Nam Thiên Quốc; đến năm 1052, đánh chiếm xong Ung Châu, Trí Cao xưng là Nhân Huệ hoàng đế và đặt Quốc hiệu Đại Nam, thế mạnh như chẻ tre, đến đâu cũng vỗ về an dân, được dân ủng hộ. Nhà Tống phải khiếp sợ kinh hoàng, ra chiếu: nếu ai giết được A Nùng hoặc Trí Cao sẽ được thưởng 3.000 quan. Theo truyện lưu truyền trong dân gian, một năm sau đó, Nùng Trí Cao bị thua trận ở Côn Lôn, chạy về phủ thự, ngày ngày buồn bã rồi cưỡi ngựa đi đâu biệt xứ. Bà A Nùng chiếm giữ động Đặc Ma, nay là vùng Vân Sơn tỉnh Vân Nam, nuôi trí trả thù cho con, Bà sai Nông Hạ Khanh, chiêu tập binh lính lên tới hơn vạn quân, mua sắm vũ khí, dự trữ lương thực, lập đội kỵ binh đánh lên phía Bắc, làm rung chuyển đất Ung Châu. Sau bị thua trận, Bà chạy về Quảng Nguyên và mất tại đây.

Minh Đức Hoàng Hậu A Nùng người phụ nữ đôn hậu, mạnh mẽ, tài giỏi, mưu lược. Bà đã có công lớn nuôi dạy, rèn luyện võ nghệ  cho con trai Nùng Trí Cao, sau này Trí Cao trở thành một dũng tướng miền biên ải, người anh hùng giúp Nhà Lý dựng nên thành lũy trấn giữ biên cương, bảo vệ một vùng rộng lớn cương vực phía bắc của lãnh thổ quốc gia. Bà là quân sư trực tiếp cho Trí Cao trong từng trận đánh và được Nhà Lý mời làm cố vấn tướng lĩnh. Ngoài ra, Bà còn dạy nhân dân biết trồng lúa, hoa màu, chăn nuôi gia súc béo tốt, được dân chúng suy tôn là Thần gia súc.

Nhà Lý đặc chiếu truy phong bà A Nùng làm Bà Hoàng Đại Vương; để ghi nhớ công lao của Bà,  nhân dân châu Quảng Nguyên lập đền thờ tại thôn phù Vạn, xã Kim Pha, châu Thạch Lâm. Ngôi đền mang tên Đền Bà Hoàng từ đó. Thời triều Lý, ngôi đền được phong là Thượng đẳng thần, xuân thu nhị kỳ quốc lễ. Các triều đại tiếp tục vinh tôn gia phong mỹ tự: Bà Hoàng phổ ứng hiển linh diệu cảm, Hồng hựu tĩnh trấn biên phu linh thông, phục viễn ninh cảnh, Vũ di hiển hưu, Cảm ứng hộ quốc, Ninh dân dương vũ đinh công Đại Vương.

Lễ hội Đền Bà Hoàng được tổ chức vào hai ngày 14 và 15 tháng giêng  âm lịch trong năm. Lễ hội vừa thể hiện lòng thành kính với Bà Hoàng Đại Vương, vừa mang tính chất cầu mùa, cầu phúc, mong được Bà ban cho cuộc sống an lành, may mắn. Để chuẩn bị cho ngày lễ hội, nhân dân trong vùng tự giác đóng góp mỗi nhà một bơ gạo, ít tiền để mua hương hoa, tổ chức nghi lễ. Lễ vật thờ cúng gồm: mâm xôi, con lợn quay hoặc thủ lợn; đặc biệt có thêm một đoạn phèo non, sau thay bằng bánh chè lam cùng với hoa quả và ba bông lau to, tượng trưng cho bông lúa được mùa. Gia đình được chọn để dâng mâm lễ, là gia đình làm ăn thuận lợi từ năm trước, mọi người đều mạnh khỏe, con cháu thành đạt, ngoan ngoãn. Nghi lễ diễn ra long trọng, chủ tế là người có vai vế, uy tín trong vùng. Sau khi xong phần nghi lễ, gia đình dâng mâm lễ sẽ được cầm ba bông lau đem về cắm vào ruộng nhà mình, với ước mong cả vùng, trong đó có ruộng nhà bội thu. Tại lễ hội còn tổ chức các trò chơi dân gian ngay tại sân trước Đền. Sau đó, mọi người cùng nhau thụ lễ, ăn uống vui vẻ, đoàn kết, đông vui, thắm tình làng, nghĩa xóm, khu phố. Đền Bà Hoàng đã được xếp hạng di tích lịch sử văn hóa cấp tỉnh theo Quyết định số 2485/QĐ-UBND của Ủy ban nhân dân tỉnh Cao Bằng, ngày 04/11/2008.

Bà Hoàng Đại Vương A Nùng, một nhân vật nổi tiếng trong lịch sử thế kỷ XI, người phụ nữ thao lược, tài ba, có công lớn trong thời Nhà Lý. Hình ảnh của Bà và ngôi đền thờ tự đã đi vào các trang tư liệu cố như Đại Việt sử ký toàn thư; trong cuốn “Đền thờ và lăng tẩm Việt Nam”, Bà Hoàng Đại Vương A Nùng đã được vinh danh trang trọng. Đến với Đền Bà Hoàng, giúp chúng ta hiểu biết thêm một trang sử hào hùng, biết ơn và tự hào về một bậc tiền nhân- người mẹ của Khau Sầm Đại Vương Nùng Trí Cao, khơi dậy lòng yêu nước nồng nàn trong sự nghiệp dựng nước và giữ nước.