本館建築由高雄本地的建築師陳瑞霖設計，1954年正式落成，為戰後高雄的第一棟圖書館。
2003年在官方和地方文史工作者的共同推動下，準備轉型並更名為全台首座以城市命名的文學館，館銜由作家葉石濤親筆題字。整修至2004年3月31日重新開館，並於2006年12月獲文建會（今文化部）認可為地方文化館。
2007年委由藝術家梁任宏設計「高雄文學廣場」泉筆意象，設置於中華路和民生路口，象徵城市文學的積澱與文思泉湧。2009年再委由建築師許家彰設計文學步道，沿途設置三座六面的高雄作家作品燈箱，同年雕塑家王秀杞製作之「葉石濤紀念銅像」落成，設置於本館背側，象徵作家守護文學、親近常民的形象。
2016年獲得教育部「推動公共圖書館書香卓越典範補助專案計畫」補助，重新改裝館舍老舊的閱覽空間，同步將作家展示櫃轉為線上數位資料庫。2020年則因應鄰近社區分館成立、正式轉移圖書借閱服務，申請文化部「地方文化館及博物館提升計畫」，正式改裝為以辦理活動和展覽為主的多功能藝文空間。
因應功能轉型而有多次改裝的建築本體，至今仍保留原始結構與裝飾細節，充分展現1950年代建築風格，兼容現代主義與西洋歷史兩種式樣。簡潔的建築量體，兩座圓弧造型塔樓成為視覺焦點，帶有些許現代流線趣味；而大門已退縮立體造型強調入口意象，簷部、附壁柱和旗杆座則見西洋古典元素，與館內多處線腳裝飾及柱身細節相互呼應。
這棟散發些許古典浪漫氣息的現代建築，將圖書館知識殿堂的氛圍表露無遺，成為不同文化脈絡與時空背景的有趣交集。

• 開放時間：週二至週六 09:00-21:00；週日 09:00-17:00
• 休館時間：週一、國定假日
• 總坪數：407.93 坪
• 座位數：43席
• 館藏特色：高雄文學、台灣文學（本館無圖書借閱服務，全館限館內閱覽）
• 信箱：ksmlalib@gmail.com
• 電話：07-2611706
• 傳真：07-2611603
• 地址：801004 高雄市前金區民生二路39號
• 高雄作家查詢：https://ksliterary.ksml.edu.tw/
• Facebook臉書專頁：https://www.facebook.com/ksliterary/
• 高雄青年文學獎：https://www.ksml.edu.tw/ksylaward//