Yılanlı Yalı, adını hikayesinden almıştı. Aslanlı Yalı bahçesindeki aslan heykellerinden. Esma Sultan Yalısı, adını sahibinden almıştı tıpkı Fehime Sultan Yalısı gibi. Fenerli Yalı’da olduğu gibi adını mimarisinden alan yalılar da vardı Boğaziçi’nde, Manolyalı Yalı’da olduğu gibi bahçesindeki ağaçlardan adını alan da. Kanlıca’da bulunan, Boğaz’ın en büyük rıhtımlarından birine sahip olan bu yalıysa adını kullanım tarzından, mekanlık yaptığı dışişleri toplantılarından aldı.
Şimdilerde Saffet Paşa Yalısı olarak bilinen yalı, vakt-i zamanında Hariciye Köşkü olarak biliniyordu. 2. Abdülhamit döneminin bürokratlarından olan Saffet Paşa altı kez Hariciye Nazırlığı (Dışişleri Bakanlığı) yaptığından, yalısı Hariciye Köşkü olarak nam salmıştı.
Saffet Paşa’nın yalısı 1760 yılında yapılmıştı. 1976 yılında çıkan bir yangında yalının bu orijinal hali yandı. Şu an görünen yalı orijinal planına göre yangından sonra yapılan yalıdır. Saffet Paşa’nın torunu olan ve Hürriyet Gazaetesi’nin kurucusu olarak kabul edilen Sedat Simavi, ölünceye kadar bu yalıda yaşamıştı.