Konya'dan göç edip Drama'ya yerleşen bir ailenin çocuğu olarak orada doğdu. Babası Bergofçalı Ömer Lütfi Efendi ve annesi Zübeyde Hanım'ın sekiz çocuğundan altıncısıdır. Ağabeylerinden Remzi Aksoy'un oğlu sinema oyuncusu Göksel Arsoy'dur. Babasının dedesi Şeyh Ömer Efendi sol eli ile yazan tanınmış bir hattat idi. Asım ve ablası da sol ellerini kullandıkları için Yesari (solak) adını aldılar. Yesari Asım orta öğrenimini tamamladıktan sonra aile İstanbul'a göç etmiş, 1917 yılında ise Adapazarı’na yerleşmiştir.
İlk müzik derslerini Adapazarı'nda aldı. Önce bağlama, sonra ud çalıştı; okuldaki hocalarından ve komşu müzisyenlerden eski eserleri öğrenerek kendini geliştirdi. Dindar babanın baskılarına rağmen hafız olmak istemedi, ancak zaman zaman camilerde ezan okudu.
1920'de Antalya'daki bir gemi acentesinde çalışmaya başlayarak iş hayatına atıldı, daha sonra İstanbul ve İzmit'te değişik işlerde çalıştı. İzmit'te yaşarken, Fehmi Tokay ve Zeki Arif Ataergin'den yardımlar gördü, müzik çevrelerine girerek çok sayıda müzisyenle tanışma ve çalışma fırsatı buldu.
1930'larda beste yapmaya başlayan Arsoy, güftelerini de genellikle kendisi yazdı.
1954 yılında kısa süre İstanbul Radyosu’nda da çalışmaya başlayan bestecinin günümüze ulaşan eserleri, yaklaşık 250 adettir. 1992 yılında hayata veda eden bestekarın, unutulan ya da gün ışığına çıkmayan çok sayıda eserinin olduğu tahmin edilmektedir. Karacaahmet Mezarlığı'a defnedildi.