Semtin adının kökenine ilişkin birkaç görüş vardır. Bunlardan biri; Osmanlı döneminde saraya ait bazı egzotik hayvanların özellikle de fillerin, buradaki Blaherne Sarayı'nda barındırılmasından ötürü bu semte "hayvan sarayı" dendiği; bunun da zamanla değişerek Ayvansaray'a dönüştüğü yönündedir. Bir diğer yaygın kanı da, semt adının "eyvan" sözcüğünden geldiğidir.[6][7] Ayvansaray'da gerek Bizans döneminden, gerekse Osmanlı döneminden kalma pek çok tarihî yapı bulunur. Bunlar arasında, Bizans döneminde kilise olarak kullanılırken İstanbul'un Türklerce ele geçirilmesinden sonra camiye çevrilen Atik Mustafa Paşa Camii, Tekfur Sarayı kalıntıları ve Anemas Zindanları vardır. Ayvansaray'da iki özel üniversite yerleşkesi bulunmaktadır. Balat'ta bulunan İstanbul Topkapı Üniversitesi ve Cibali'de bulunan Kadir Has Üniversitesi'dir.
^ab"Adrese Dayalı Nüfus Kayıt Sistemi". Türkiye İstatistik Kurumu. Erişim tarihi: 9 Nisan 2024.Arşivlenmesi gereken bağlantıya sahip kaynak şablonu içeren maddeler (link)