Легенда гласит, что в XV веке храм основал индуистский священник Данг Хьянг Нирартха, заметивший лучезарный свет на утесе. Свет исходил из священного источника пресной воды, бившего из скалы. Нирартха остановился в этом месте на ночлег, а на утро начал рассказывать местному священнику о сакральном значении места, но в ответ получил просьбу уйти. Нирартха ушел, посоветовав рыбакам построить храм вокруг источника, поскольку был уверен, что это место лучше всего подходило для служения морским богам. Спустя несколько лет появился Танах Лот, который оберегал жителей острова от различных напастей. Предание также гласит о том, что перед уходом Нирартха отодвинул в море скалу, на которой медитировал, а также оставил морских змей охранять место от непрошеных гостей. Практически до начала ХХ века храм стоял на мысе, но постоянная работа моря превратила этот мыс в небольшой островок, попасть на который можно лишь во время отлива. Сюда ведет специально установленная лестница. На закате Танах Лот выглядит необычайно красиво - его величественная тень живописно отражается в морской воде.