Năm 1925, người Pháp cho xây cất nhà lao Pleiku để giam giữ tù thường phạm, chủ yếu là người dân tộc. Năm 1940, phong trào đấu tranh cách mạng của đồng bào các dân tộc phát triển mạnh mẽ, lúc bấy giờ thực dân Pháp đã dùng nơi này để giam giữ những người yêu nước. Tháng 6 năm 1948, chi bộ nhà lao Pleiku được thành lập.
Trong kháng chiến chống Mĩ cứu nước, đế quốc Mĩ vẫn sử dụng nhà lao Pleiku làm nơi giam giữ tù chính trị, nhiều hình thức tra tấn hiện đại và dã man được áp dụng tại nhà lao này, nhưng các chiến sĩ cộng sản bị giam giữ tại nhà laovẫn giữ vững phẩm chất cách mạng, tiếp tục tham gia các phong trào đấu tranh trong nhà lao...
Ngày 15 tháng 3 năm 1975 vào lúc 17 giờ, trước khí thế hừng hực sôi động của chiến dịch Tây Nguyên, tù chính trị tại nhà lao Pleiku đã phá ra ngoài và tổ chức một bộ phận ra vùng ven, đón một cánh quân ta từ ngã ba Trà Bá vào cùng quân dân địa phương giải phóng thị xã Pleiku.
Nhà bia tưởng niệm
Ngày 12 tháng 12 năm 1994, bộ văn hóa - thông tin đã ra quyết định số 321/QĐ-BT công nhận nhà lao Pleiku là di tích lịch sử.