Ngôi đền thờ nhân vật lịch sử, danh tướng Nùng Trí Cao, người dân tộc Tày, sống vào nửa đầu thế kỷ XI (1025-1053), dưới triều Vua Lý Thái Tông. Đây là một trong những ngôi đền được nhân dân xây dựng từ lâu và trải qua trùng tu tôn tạo nhiều lần, có quy mô lớn vào bậc nhất trong các loại hình đền, chùa, miếu tỉnh Cao Bằng.

Đền được xây dựng trên một khuôn viên rộng, kiến trúc hình chữ “Nhị”, mang dáng dấp phong cách kiến trúc thời Nhà Nguyễn, có nhà bái đường và hậu cung. Tại nhà bái đường có một ban thờ.  Phía trong hậu cung có ba ban thờ, chính giữa thờ Nùng Trí Cao, bên trái thờ mẹ A Nùng, bên phải thờ ba người vợ: Vương Lan Anh, Đoạn Hồng Ngọc và Trần Thị Cầm (nàng Cầm). Quá trình gây dựng ngôi đền, với lòng ngưỡng mộ vị dũng tướng, nhân dân đã cung tiến một số đồ thờ quý, như đôi hạc bằng đồng, một số lư hương, chuông đồng…., trong khuôn viên đền có ba cây cổ thụ được công nhận là cây di sản Việt Nam: cây đa tía, cây muỗm, cây gạo với tán lá  xum xuê, làm cho ngôi đền thêm trầm mặc linh thiêng.

Nùng Trí Cao sinh năm 1025, là con của Nùng Tồn Phúc, thủ lĩnh châu Thảng Do. Ngay từ thuở thiếu thời, Nùng Trí Cao là một cậu bé khỏe mạnh, đẹp trai, hiếu động, thông minh lạ thường, học giỏi chữ nghĩa, võ nghệ như bẩm sinh. Năm 1038, Nùng Tồn Phúc chiếm hai châu Vũ Lặc và Quảng Nguyên, lập nên nước Trường Sinh, tự xưng là Chiêu thánh Hoàng đế, lập vợ A Nùng làm Minh Đức Hoàng hậu, cát cứ một phương, án ngữ một vùng biên viễn rộng lớn phía Đông-Bắc nước ta. Năm sau, 1039, Vua Lý Thái Tông thân chinh dẫn đại quân đi dẹp nước Trường Sinh, Nùng Tồn Phúc và con trưởng Nùng Trí Thông bị bắt, đem về kinh đô xử tử. A Nùng và con thứ Nùng Trí Cao chạy thoát được trốn đến Động Lôi Hỏa, phía Tây-Bắc tỉnh Cao Bằng ngày nay, thuộc địa phận tỉnh Quảng Tây, Trung Quốc. Tại nơi đây, hai mẹ con khẩn trương tập hợp quân sĩ, ngày đêm rèn luyện võ nghệ, xây dựng lực lượng binh đao, ngựa chiến.

Năm 1041, khi đó Nùng Trí Cao 16 tuổi, đã cùng mẹ A Nùng dẫn binh từ Động Lôi Hỏa chiếm lại châu Thảng Do, chiêu tập binh mã dựng nước Đại Lịch. Triều Lý cử đại quân lên đánh và bắt được Nùng Trí Cao dẫn về kinh đô. Sau khi xem xét, nhận định tình thế, cần trấn yên vùng biên, bảo vệ lãnh địa quốc gia, Vua Nhà Lý miễn tội cho Nùng Trí Cao và tiếp tục cho quản lý châu Thảng Do; đồng thời, ban cho thẩm quyền cai quản thêm một vùng rộng lớn, gồm các động: Lôi Hỏa, Bình, An, Bà và châu Tư Lang, sắc phong Nùng Trí Cao làm châu mục Quảng Nguyên. Năm 1043, Vua Lý Thái Tông sai người đến châu Quảng Nguyên, ban sắc phong cho Nùng Trí Cao chức Thái Bảo, một trong ba tước quan cao cấp nhất triều đình và giao cả đô ấn. Năm 1048, Nùng Trí Cao khởi binh ở Động Vật Ác, đánh chiếm luôn châu An Đức, thuộc đất Nhà Tống (Trung Quốc) làm căn cứ địa. Hai năm sau (1050), thừa thế binh hùng tướng mạnh, Nùng Trí Cao đánh chiếm Động Vật Dương (thuộc đất Tống), rồi xưng Vương, lập Nam Thiên Quốc, lấy niên hiệu là Cảnh Thụy. Chiến công kế tiếp chiến công, cương vực bờ cõi rộng mở nhanh chóng. Tuy vậy, Nùng Trí Cao vẫn có ý giảng hòa với Nhà Tống, năm 1051, cho người đem châu báu, vàng bạc, ngà voi đến biếu cống, nhưng bị triều đình Tống khước từ.

Trước tình thế đó, năm 1052, Nùng Trí Cao dẫn 5.000 quân tiến đánh thành Ung Châu và Quảng Châu. Sau khi làm chủ Ung Châu, Nùng Trí Cao tự xưng là Nhân Huệ Hoàng đế; đổi niên hiệu là Khải Lịch, quốc hiệu là Đại Nam. Nùng Trí Cao ra lệnh phá nhà tù, đại xá tù nhân, mở các kho hậu cần, lương thực của quân Tống phân phát cho dân nghèo. Do đó, lực lượng của Nùng Trí Cao phát triển mạnh mẽ.

Năm 1053, Nhà Tống cử Địch Thanh, một viên tướng nổi tiếng triều đình, dẫn đầu đại quân hùng hổ đi đánh quân Nùng Trí Cao. Lần này, Nùng Trí Cao bại trận phải chạy đến vùng đất Đại Lý, thuộc tỉnh Vân Nam, Trung Quốc ngày nay. Nùng Trí Cao sai Lương Châu về kinh đô cầu viện Nhà Lý, nhưng không thể cứu vãn nổi tình thế.

Những năm 13, 14 tuổi, Nùng Trí Cao đã tinh thông cung, kiếm, từ 16 tuổi đến khi mất luôn trên mình ngựa chiến, hầu như không khi nào được nghỉ ngơi, hưởng phúc; cho đến năm 30 tuổi đã tạo dựng nên nghiệp lớn, có thể nói là một nhân vật huyền thoại, hiếm và lạ trong lịch sử của dân tộc ta. Trong cuộc chinh chiến, đến đâu, Nùng Trí Cao đều có chính sách an dân, nên được nhân dân địa phương hết lòng ủng hộ. Song, sau những thắng lợi liên tiếp, quân sĩ Nùng Trí Cao không tránh khỏi những hạn chế dẫn đến thất bại của một đạo quân địa phương hợp thành. Tuy nhiên, cuộc nổi dậy của Nùng Trí Cao đã chứng tỏ ý chí quật cường của các dân tộc thiểu số miền biên giới phía Bắc chống lại ách áp bức bóc lột hà khắc của các thế lực phong kiến thống trị. Lực lượng quân sự Nùng Trí Cao với phương châm chủ động tiến đánh, phòng vệ từ xa, đã đập tan âm mưu, thủ đoạn của Nhà Tống hòng lăm le xâm lược nước ta; góp phần bảo vệ cương vực phía Bắc của Tổ quốc.

Là một viên tướng trẻ ý chí kiên cường, quyết tâm cao, nhiệt huyết, võ nghệ xuất chúng, quân sự tài năng, thao lược, nhạy bén về chính trị, ngoại giao; hơn nữa, Nùng Trí Cao còn là một thủ lĩnh tinh thần đầy nhân văn, đi đến đâu đều được nhân dân quý mến. Cuộc đời và sự nghiệp của Nùng Trí Cao trong tâm thức nhân dân như một huyền thoại sống động, mạnh mẽ, can trường đầy khí phách của một vị dũng tướng miền biên ải đã đi vào từng câu chuyện dân gian, từng trang sách truyện và lịch sử nước nhà. Là người con của dân tộc Tày ở Cao Bằng, nhưng đều được các dân tộc thiểu số như Nùng, Cơ lao, La chí….trân trọng coi đây là thủy tổ của mình. Đặc biệt, phạm vi ảnh hưởng của viên tướng trẻ danh tiếng Nủng Trí Cao  được lan tỏa  đến các tỉnh thuộc vùng Đông-Bắc nước ta và các nước láng giềng như Trung Quốc, Thái Lan, Mianma…Những nơi Nùng Trí Cao đi qua đều được nhân dân dựng đền thờ ghi nhớ công ơn của ông. Nùng Trí Cao còn được coi là một vị anh hùng văn hóa, một vị thần nông linh nghiệm, coi sóc ruộng đồng, mùa màng được thể hiện qua các bài cúng tế.  Để tưởng nhớ ơn đức của Nùng Trí Cao, nhân dân nhiều nơi đã lập miếu thờ phụng. Nhà Lý đặc chiếu sắc phong Nùng Trí Cao là Khau Sầm Đại Vương và lập đền thờ tại thôn Bản Ngần, xã Tượng Lặc, châu Thạch Lâm, nay là thôn Bản Ngần, xã Vĩnh Quang, thành phố Cao Bằng. Đền thờ được Nhà Lý phong Thượng đẳng thần, xuân thu nhị kỳ quốc tế; các triều đại sau gia phong mỹ tự: Khau Sầm tế thế, an dân hãn ngoại, ninh thủy trấn dịch, anh nghị quả đoán hiển ứng thùy hưu, hộ quốc an dân Đại Vương.

Đền Kỳ Sầm đã được xếp hạng Di tích lịch sử cấp Quốc gia theo Quyết định số 43-VH/QĐ của Bộ trưởng Bộ Văn hóa-Thông tin ngày 16 tháng 01 năm 1993.

Lễ hội Đền Kỳ Sầm được tổ chức vào ngày mùng 9 và mùng 10 tháng giêng âm lịch hằng năm, gồm phần lễ và phần hội với quy mô khá lớn. Phần nghi thức lễ được tiến hành từ đêm mùng 9 tháng giêng, phần hội mang đậm đà nét văn hóa truyền thống với các trò chơi: đẩy gậy, kéo co, chơi đu, tung còn và các hình thức sinh hoạt văn nghệ dân ca phong phú, sinh động, đặc sắc. Lễ hội Kỳ Sầm là điểm đến hấp dẫn của khách tham quan du lịch trong và ngoài tỉnh đông vui, náo nhiệt trong dịp trấy hội mùa xuân Non nước Cao Bằng.