Z uwagi na swoje usytuowanie, przy ulicy Gęsiej, przez warszawiaków obóz nazywany był „Gęsiówką”. Funkcjonował do sierpnia 1944 roku, kiedy został wyzwolony przez żołnierzy Armii Krajowej z Batalionu „Zośka”.
Był to jedyny obóz koncentracyjny zlokalizowany w stolicy państwa okupowanego przez Niemcy. Rozkaz o utworzeniu na terenie ruin getta warszawskiego obozu koncentracyjnego KL Warschau wydał 11 czerwca 1943 roku jeden z przywódców nazistowskich Niemiec, Reichsfuehrer SS Heinrich Himmler.
Wśród przywiezionych do KL Warschau w pierwszym transporcie więźniów byli przeważnie niemieccy kryminaliści przeznaczeni do roli obozowych kapo. Później Niemcy więzili w KL Warschau głównie Żydów z różnych krajów Europy, także z Polski.
Latem 1944 roku w obliczu zbliżającego się frontu radzieckiego, Niemcy podjęli decyzję o likwidacji obozu. Wymordowali kilkuset więźniów słabszych i chorych, około 4 tysięcy zmusili do marszu śmierci w kierunku Kutna, gdzie dotarła nieco ponad połowa z nich. Stamtąd zostali przewiezieni do KL Dachau.
5 sierpnia 1944 roku, w piątym dniu Powstania Warszawskiego, obóz został wyzwolony w brawurowej akcji przez żołnierzy Batalionu „Zośka”. Przebywało w nim wówczas 348 Żydów, w tym 24 kobiety. Zostali pozostawieni w KL Warschau przez Niemców po likwidacji, w celu zniszczenia infrastruktury obozowej.
Według historyków IPN, w obozie KL Warschau oraz w egzekucjach w jego sąsiedztwie zginęło około 20 tysięcy osób. Inne szacunki przedstawiała badaczka historii KL Warschau Maria Trzcińska (zm. 2011), która twierdziła, że w KL Warschau wymordowano około 200 tysięcy osób, głównie Polaków ujętych na ulicach Warszawy.