Szpital Specjalistyczny im. J. Dietla położony jest w samym sercu Krakowa, nieopodal Rynku Głównego, w zabytkowym gmachu przy ulicy Skarbowej 1. Budynek, zaprojektowany przez wybitnego architekta, profesora Wacława Krzyżanowskiego, wzniesiony w latach 1921-1925, został na potrzeby szpitala rozbudowany od strony ulicy Dolnych Młynów. Ta nowsza część narodziła się w Krakowskim Biurze Projektów Służby Zdrowia. Szpital otwarto jesienią 1981 roku i nazwano imieniem doktora Józefa Dietla, wybitnego lekarza praktyka, uczonego, a także pierwszego prezydenta samorządnego Krakowa, wielkiego patrioty. Był jak na tamte czasy dość nowoczesny. Początkowo funkcjonował w strukturze Zespołu Opieki Zdrowotnej, dyrektorami zaś byli: dr Andrzej Wiśniewski i dr Zofia Kulig, stanowisko lekarza naczelnego szpitala objął nieżyjący już dr med. Józef Kusionowicz. W 1985 roku funkcję tę przejął dr med. Andrzej Kosiniak-Kamysz. Szpital wydzielono ze struktury ZOZ-u w czerwcu 1991 roku.
Pierwszym dyrektorem wyłonionym w drodze konkursu został dr med. Andrzej Kosiniak-Kamysz, a jego zastępcą mgr Jadwiga Hospodarewska, którą po pół roku zastąpiła mgr Elwira Jackowska, a później mgr Jolanta Stańczykiewicz. Obecnie zastępcą dyrektora ds. planowania i marketingu jest mgr Barbara Kamysz. Współorganizatorami szpitala byli: dr med. Janusz Maciejewicz, nieżyjący już dr med. Bogusław Pająk, dr WF Wacław Adamczyk oraz Teresa Bigaj i Barbara Kościńska wówczas pełniąca obowiązki kierownika sekcji gospodarczej. Wszyscy pracownicy, bez względu na wykształcenie czy zajmowane stanowisko, realizując swoje wyobrażenia o nowoczesnym szpitalu, sami przygotowywali nie tylko oddziały dla przyszłych pacjentów, ale nawet porządkowali otoczenie wokół gmachu. Do aranżacji wnętrz przyczynili się studenci Akademii Sztuk Pięknych, którzy w ramach ćwiczeń na uczelni stworzyli ciekawe projekty poszczególnych pomieszczeń. Jako pierwsze powstały Oddział Kardiologii i Neurologii oraz Dział Rehabilitacji, a po nich – I i II Oddział Wewnętrzny oraz Oddział Reumatologii.
Ordynatorem i organizatorem Oddziału Kardiologii z Intensywną Opieką Medyczną od samego początku był dr med. Janusz Maciejewicz. Organizatorem i pierwszym ordynatorem Oddziału Neurologii był dr med. Bogusław Pająk, a od czasu jego śmierci funkcję tę pełnił dr med. Jacek Huczyński. Dział Rehabilitacji od podstaw organizował dr WF Wacław Adamczyk. I Oddział Chorób Wewnętrznych został przeniesiony ze Szpitala oo. Bonifratrów, a ordynatorem był prof. dr hab. Henryk Gaertner. Jego zastępcą był nieżyjący już dr Bogusław Mally, w późniejszym okresie również dr Andrzej Kosiniak-Kamysz.
W grudniu 1983 roku władze Akademii Medycznej, Miasta Krakowa i Ministerstwa Zdrowia podpisały umowę o powołaniu w szpitalu – na bazie I Oddziału Chorób Wewnętrznych – Katedry i Kliniki Chorób Wewnętrznych i Medycyny Wsi, a jej kierownikiem został prof. Henryk Gaertner, który pełnił tę funkcję do 1992 roku. Od 1993 roku kierownikiem Katedry i Kliniki Chorób Wewnętrznych i Medycyny Wsi oraz ordynatorem I Oddziału Chorób Wewnętrznych została prof. dr hab. Teresa Adamek-Guzik. Obecnie funkcję ordynatora pełni doc. dr hab. med. Tomasz Guzik. Stanowisko ordynatora II Oddziału Wewnętrznego objął dr med. Józef Kusionowicz, który był jednocześnie lekarzem naczelnym szpitala. Od 1989 roku ordynatorem tego oddziału jest dr med. Anna Gudowska-Nitka.
Oddział Reumatologii, istniejący już od 1968 roku, był przenoszony ze szpitala w Witkowicach do Szpitala im. G. Narutowicza, zanim umiejscowiono go w Szpitalu Specjalistycznym im. J. Dietla w Krakowie. Funkcję ordynatora Oddziału Reumatologii pełniła tu do 1995 roku doc. dr hab. Alicja Barwik-Schramm. Od 1996 do 2011 roku ordynatorem Oddziału Reumatologii był dr n. med. Antoni Skura. Obecnie ordynatorem jest dr n. med. Bogdan Batko.W 1992 roku przyłączono do szpitala Wojewódzką Przychodnię Reumatologiczną, którą kierował ordynator Oddziału Reumatologii.
Organizacją Centralnego Laboratorium Diagnostycznego zajmowali się kolejno jego kierownicy: dr Ludwika Gaertner, mgr Janina Gorzkowska, mgr Halina Skołyszewska i obecnie mgr Alicja Baran. Wraz z utworzeniem Małopolskiego Centrum Reumatologii, Immunologii i Rehabilitacji, utworzona została Pracownia Immunologiczna, wykonująca badania z zakresu specyficznej dla reumatologii diagnostyki immunologicznej.
Organizacją i prowadzeniem Zakładu Diagnostyki Obrazowej zajmowali się w kolejności lek. med. Magdalena Dąbrowska, lek. med. Elżbieta Szarpak-Sobańska i obecnie – lek. med. Jan Czyżowski.
III Oddział Chorób Wewnętrznych wydzielono z I Oddziału Chorób Wewnętrznych w marcu 1987 roku, a jego ordynatorem od początku był dr med. Andrzej Kosiniak-Kamysz, równocześnie pełniący funkcje lekarza naczelnego i dyrektora szpitala. W skład oddziału wchodzi Pracownia Endoskopii Przewodu Pokarmowego, której organizatorem i pierwszym kierownikiem mianowano dr. med. Andrzeja Kosiniaka-Kamysza. Obecnie funkcję tę pełni lek. med. Janusz Komorowski. W czasie sprawowania funkcji państwowych przez dr. med. Andrzeja Kosiniaka-Kamysza obowiązki ordynatora III Oddziału Wewnętrznego i lekarza naczelnego szpitala pełniła lek. med. Róża Karłowska, a jej zastępcą na tym stanowisku była lek. med. Elżbieta Woźniak.
Wraz z reformą systemu opieki zdrowotnej i utworzeniem Kas Chorych dokonano zmian w strukturze organizacyjnej zakładu tworząc odrębną jednostkę – Przychodnię Przyszpitalną z poradniami specjalistycznymi oraz utworzono Sekcję Planowania, Analiz Ekonomicznych i Marketingu, gdzie do czasu uzyskania nominacji na stanowisko zastępcy dyrektora, funkcję kierownika pełniła mgr Barbara Kamysz. Obecnie funkcję tą pełni mgr Anna Hajduk-Przepióra.
W październiku 2005 roku, na mocy Uchwały Sejmiku Województwa Małopolskiego, Krakowski Szpital Reumatologii i Rehabilitacji został włączony w strukturę Szpitala Specjalistycznego im. J. Dietla. Na bazie przyłączonych komórek organizacyjnych utworzono Małopolskie Centrum Reumatologii, Immunologii i Rehabilitacji, w skład którego weszły: Wojewódzka Poradnia Reumatologiczna mieszcząca się przy ul. Batorego 3, Poradnia Reumatologiczna mieszcząca się przy al. Focha 33, Oddziały Reumatologii i Rehabilitacji Stacjonarnej oraz Ośrodki Rehabilitacji Dziennej mieszczące się przy ul. Skarbowej 1 i al. Focha 33.
W 2006 roku przebudowano i zmodernizowano Centralną Izbę Przyjęć oraz przeprowadzono digitalizację Zakładu Diagnostyki Obrazowej.
W 2007 roku z Oddziału Neurologii został wydzielony Pododdział Leczenia Udarów Mózgu, a w grudniu tego samego roku w Małopolskim Centrum Reumatologii, Immunologii i Rehabilitacji uruchomiono Ośrodek Krioterapii Ogólnoustrojowej, umożliwiający leczenie niskimi temperaturami z wykorzystaniem bezazotowej komory krioterapeutycznej.
W 2008 roku nastąpiło uprofilowanie oddziałów chorób wewnętrznych i tak: I Oddział funkcjonuje jako I Oddział Chorób Wewnętrznych i Alergologii, II Oddział – jako II Oddział Chorób Wewnętrznych i Gastroenterologii, a III Oddział – jako III Oddział Chorób Wewnętrznych, Metabolicznych i Geriatrii.
W 2009 roku podjęto decyzję o rozbudowie siedziby Małopolskiego Centrum Reumatologii, Immunologii i Rehabilitacji przy al. Focha 33. W tym samym roku szpital uzyskał certyfikat jakości systemów zarządzania ISO 9001-2008.
W 2010 roku wmurowano kamień węgielny pod budowę nowego skrzydła budynku Szpitala przy al. Focha 33 dla potrzeb utworzenia Bloku Operacyjnego i Oddziału Ortopedii oraz przeniesienia Przychodni Przyszpitalnej.
W 2011 roku z Oddziału Rehabilitacji przy ul. Skarbowej wydzielono Pododdział Rehabilitacji Neurologicznej. W grudniu tego samego roku został uruchomiony nowy tomograf komputerowy.
W 2012 roku uroczyście obchodzono 30-lecie działalności Szpitala Specjalistycznego im. J. Dietla. Zakończono również rozbudowę MCRIiR przy al. Focha 33.
W 2013 roku organ certyfikujący potwierdził wdrożenie systemu zarządzania jakością zgodnie z normą ISO 9001-2008 i aktualizował certyfikat na okres trzech lat.