出道14年的潘裕文花邊新聞不多，唯一承認過的對象是韓籍女攝影師，日前在Podcast、YouTube節目「Wow靠！有事嗎？」首次承認一段不為人知的地下情，他說：「所以那時候媒體和歌迷朋友問我，我都說我單身，在這邊要向他們說聲對不起。」
當時他因「星光幫」走紅，被女友家長要求不要公開戀情，他說當歌手的好處是平常日約會、出遊都沒人，但避免露餡，和女友約會不是在家裡，就是去郊外爬山或動物園，從來沒有一起看過電影、也沒並肩走路過。有次他才剛踏進1間餐廳，15分鐘後媽媽傳訊息問說：「你是不是跟一個女生在吃飯？」讓他覺得到處都是眼線，很恐怖。
後來因為雙方忙於工作，加上年紀輕不太懂得愛是什麼，他在交往後期感覺到女友不喜歡自己，失戀3個月瘦了8公斤，175公分的他只剩55公斤，直至看到她跟和別的男生的親密合照，他才了然於心。
至今潘裕文對前女友仍很保護，只說是「跟我的圈子有關的」，認識他的新男友嗎？他頓了一下，說「大家都認識」。他說這段情讓他學會「恨」，新歌「因為愛所以恨」是唱給前女友聽？潘裕文說：「我很難過，但後來思考我恨的不是恨她，而是原來你努力去經營一段感情，但不一定會開花結果。」