出自姬姓，是黃帝的后代。周文王姬昌第十五子毕公高在西周初年被封在毕，建立毕國。毕公高封其子季孙于潘，附庸于毕国。其地在今陕西省北部，子孙以封邑命氏。或言潘国被楚国所灭，亡国后的潘国人就有用国名作为姓氏的，从此改姓潘。

　　出自芈[mǐ]姓，是春秋时楚国公族的后代。见于家传者始祖为潘崇。潘崇官拜楚穆王太师。《通志氏族略三》：“潘氏，芈姓，楚之公族，以字为氏。潘崇之先，未详其始，或言毕公高之子季孙食采于潘，谬矣。潘岳家风诗自可见。晋亦有潘父，恐自楚往也。汉有潘瑾，后汉有潘勉。”

　　出自北方鲜卑族。据《魏书.官氏志》所载，南北朝时，北魏有代北复姓“拔略罗氏”随魏孝文帝南迁洛阳后，定居中原，代为汉姓“潘”氏。

　　清康熙年间，台湾高山族相继归顺，被赐姓潘。分别发源于南方和北方的两支潘氏，姓源虽然看起来有所不同，但认真推溯起来，根本都是黄帝轩辕氏的后代。因为，周文王固然是黄帝的姬姓嫡裔，而楚国所出的芈姓则是传自黄帝之孙颛顼。在血统方面实际上同出一源，没有太大的分别。