Édesapja Vásárhelyi Mátyás evangélikus kántortanító volt, édesanyja Téglásy-Bekk Mária. Gyermekük kilencéves koráig a szülői háznál nevelkedett, majd miután 1804-ben Miskolcra költöztek, az ottani algimnázium tanulója lett.

További iskoláit Eperjesen végezte, s mivel a mérnöki pálya vonzotta leginkább, 1814-ben Losonczy József, Borsod vármegye mérnöke mellett vállalt segédi munkát. A pesti egyetemen szervezett Mérnöki Intézet (Institutum Geometricum) elméleti és gyakorlati tárgyaiból sikeresen levizsgázva 1816. november 30-i kelttel mérnöki oklevelet kapott. Nevezetes tanárai közé tartozott Schmidt György és Tomtsányi Ádám. A következő esztendőtől Zemplén és Veszprém vármegyékben vállalt úrbéri és erdőmérnöki feladatokat.

1819. március 12-én a Vízi és Építészeti Főigazgatóság nagyváradi mérnöki hivatalának szolgálatába lépett, s a Helytartótanács – mint napidíjas mérnököt – kirendelte a Tisza és a Körösök vízrajzi térképészeti munkáihoz. Közvetlen főnöke Huszár Mátyás, a felmérések vezetője volt, míg a munkák általános irányítását Vay Miklós, a Tisza és a Körösök szabályozásának királyi biztosa látta el. A Körösök vidékén végzett ténykedésének idejére esett nősülése is, 1821. március 25-én vette feleségül Szentmiklósy Sebők Máriát.

Noha közvetlen főnökével kevéssé tudott harmonikusan együtt dolgozni, 1823 márciusában az ugyancsak Huszár által vezetett dunai felmérésekhez rendelték. A Körösöknél és a Dunánál szerzett vízrajzi tapasztalatai alapján 1827-ben kiadta az „Introductio in praxim triangulationis” (Bevezetés a háromszögelés gyakorlatába), valamint az ahhoz kapcsolt „Auflösung einiger wichtigen Aufgaben als Beitrag zum geometrischen Triangulieren” (Adalékul a háromszögelés egyes fontos feladatainak megoldásához) című munkáit. A tudományos igénnyel megírt munka Budán jelent meg

1827-ben. Tanulmányában arra ad a térképező mérnököknek hasznos tanácsokat, miként kell a háromszögelési hálózat elkészítésénél – a Földet gömb alakúnak feltételezve – az elsőrendű fixpontokat, valamint a másodrendű pontokat az addig használt számítási módszereknél egyszerűbb eljárással meghatározni, feltéve ha a hálózatot 100–200 négyzetmérföldnél (kb. 5–10 ezer km²-nél) nem nagyobb területen kívánják kifejleszteni. Az „Auflösung ...” német nyelven kiadott munka, az előző tanulmány közvetlen folytatása, amelyben geometriai példákkal és levezetésekkel illusztrálja számítási módszerét.

Huszár áthelyezése után a Helytartótanács 1829. április 14-i kelttel Vásárhelyi elméleti és gyakorlati ismereteit értékelve – mint aldunai hajózási mérnököt –, bízta meg a dunai felmérések vezetésével. Az ő irányításával készült el a folyó Pétervárad – Orsova közötti szakaszának, valamint a munkák szempontjából legkritikusabb al-dunai vidéknek vízrajzi felvétele. A dunai mappációnál szerzett ismeretei alapján 1831-ben nagy feltűnést keltve a Tudományos Gyűjtemény hasábjain megtámadta Beszédes Józsefnek, a kor jeles mérnökének az Al-Duna-szabályozásra vonatkozó elképzeléseit.

Ezzel felhívta magára Széchenyi István figyelmét, akit a nádor királyi biztosi minőségben 1833 nyarán bízott meg az Al-Duna-szabályozás végrehajtásával. A feladat elvégzése érdekében Széchenyi – a felsőbb engedélyeket is megszerezve – még ugyanazon év őszén magával vitte Vásárhelyit angliai tanulmányútjára, ahonnan 1834 májusában tértek vissza. Vásárhelyi ettől kezdve már csak részben foglalkozott a dunai mappációval (távolléte idejére a felmérések vezetésével Hieronymi Ottó Ferencet bízták meg), idejének jelentős részét az al-dunai szabályozási munka terveinek elkészítésére és a munkák irányítására fordította.

1835-ben hivatalosan is felmentették a térképezési munkák vezetése alól. Ebben az esztendőben, szeptember 14-én a nemzeti kultúra előmozdításában szerzett érdemeire tekintettel a Magyar Tudós Társaság levelező tagjai közé választotta, s e minőségében – Beszédes József után – ő lett az Akadémia második mérnök tagja. A Vaskapunál végzett munkálatok 1837-ben befejeződtek, s Vásárhelyit kinevezték a Vízi és Építészeti Főigazgatóság első hajózási mérnökévé. E feladatkörében a közlekedési célú hazai vízszabályozások egyik legfőbb állami irányítója lett. Tevékenyen részt vett a Rába és mellékfolyói szabályozási terveinek kidolgozásában, valamint a dunai felvételek alapján készített folyórendezési elképzelések kimunkálásában.

Az 1838-as pesti árvízkatasztrófa idején munkatársaival felvételeket készített a jégtorlaszok helyzetéről. A budapesti Duna-szakasz vízviszonyainak beható ismeretére támaszkodva jelentette meg az Athenaeum 1838. évfolyamában „A budapesti állóhíd tárgyában” című tanulmányát, amely egy újabb pesti jeges árvíztől félő laikusok véleményével szemben a tudomány érveit sorakoztatta fel a Lánchíd megépítésének érdekében. A budapesti Duna-szakasz szabályozása elkerülhetetlennek látszott, ezért javasolta az Akadémia vezetőinek egy ezzel kapcsolatos pályakérdés kitűzését. Ugyancsak az Athenaeum 1838. évfolyamában adta közre az al-dunai római régiségekről szóló „Traján művei az Aldunán” című írását.

1840-ben tudományos tevékenysége elismeréseként az Akadémia rendes tagjává választotta. Székfoglaló előadását „A Berettyó vízének hajózhatóvá tételéről a Bega vízének példájára” címmel 1840. június 1-jén tartotta meg. Szakírói munkásságának következő darabja egy elméleti tanulmány volt – „A sebesség fokozatáról folyóvizeknél” – amelyben egy konkrét mérési adatsor vizsgálata alapján a folyami vízsebességek mélységi változásait függőleges tengelyű parabolával írta le. A Magyar Tudós Társaság Évkönyveiben 1845-ben megjelentetett tanulmány a folyófelvételek során végzett vízsebességmérések eredményeinek kiszámítását kívánta meggyorsítani, azzal a matematikai levezetéssel, amellyel Magyarországon elsőként bebizonyította, hogy a folyó keresztszelvényének egy adott függőlegesében (függélyében) a sebességértékek eloszlása vízszintes tengelyű parabolával írható le.

1841-ben kinevezték hajózási felügyelővé, így szabadabban választhatta meg, mely műszaki kérdésekkel kíván foglalkozni. 1843-ban készítette el egyik legjelentősebb munkáját, a Duna és mellékfolyói tengerszint feletti magasságának meghatározását. Az addig önálló és relatív rendszerekben elvégzett folyómenti szintezéseket összekapcsolta, és az Adriai-tenger szintjéhez viszonyította.

Az „Esetmérési Térképe Magyarországnak... az Adriatenger víztükrére alkalmazva...” c. munkájában a Lipszky-féle Magyarország térképre, mint alaptérképre 1843-ban rávezette az Adriai-tenger vízszintjére vonatkoztatott új magassági adatokat, amelyeket az addig egymástól független folyómenti szintezések összekötése, valamint az így nyert szintezési hálózatnak a Károlyváros–Fiume szintezési vonallal való egybekapcsolása után nyertek.

A munkálatokat Vásárhelyi Pál irányította, aki ezzel a térképpel első ízben valósította meg az Adria szintjére vonatkoztatott egységes országos alapszintet. Az országos alapszint segítségével először lehetett az ország valóságos magassági viszonyait meghatározni. Ezt követően a műszaki gyakorlatban a vízrajzi szintezéseknél nyert és az Adriai-tenger szintjére vonatkoztatott magasságokat Vásárhelyi-féle magasságoknak nevezték.

A Duna és egyéb folyók szabályozásának megvizsgálására összehívott országgyűlési bizottságban Vásárhelyi képviselte a Vízi és Építészeti Főigazgatóságot. Az ő szakvéleményének hatására javasolta a bizottság az Országgyűlésnek, hogy mindenekelőtt a Duna, Tisza, Száva, Kulpa, Dráva, Mura, Maros és a Vág folyókat kell oly módon szabályozni, hogy abba az ármentesítés (azaz a termőföldeknek az árvíztől való megóvása) is belekerüljön. Az 1840-es évtized elején dúló tiszai árvizek azonban a kijelölt sorrendet alaposan felforgatták. A király Széchenyit nevezte ki a Helytartótanács Közlekedési Bizottmányának elnökévé, és a Tisza-szabályozás királyi biztosává. A nádor ezzel párhuzamosan meghagyta Vásárhelyinek, hogy készítse el az árvizekkel leginkább sújtott Felső-Tisza vidékének vízszabályozási terveit.

Vásárhelyi 1845. június 8-án tette le József nádor asztalára „Előleges javaslat...”-át, amelyben a szabályozás főbb irányelveit és az elvégzendő munkákat körvonalazta. Elképzeléseit egy Széchenyi által vezetett bizottság elfogadta, s a nádor ennek alapján megbízta Vásárhelyi Pált egy – immár az egész folyóvölgyre kiterjedő – Tisza-szabályozási terv elkészítésével. 1846 januárjában megalakult a termőföldek ármentesítésének végrehajtására a Tiszavölgyi Társulat, amely a nádortól Vásárhelyi kiküldését kérte a vízi munkálatok irányítására. Közben Vásárhelyi, mérnöktársainak segítségével, 1846. március 25-ére elkészítette azt az átfogó szabályozási koncepciót, amelyet az utókor a Vásárhelyi-féle Tisza-szabályozási tervként ismer. „A Tisza folyó általános szabályozási tervezete...” nem kizárólagosan az ő munkája, hanem azt – legalábbis, ami az adatokat illeti – a Vízi és Építészeti Főigazgatóság mérnökcsoportja állította össze. Vásárhelyi Pál tehát a koncepciót megalkotó irodavezető mérnök volt. A tervezetről Pietro Paleocapa készített szakvéleményt.

A Tisza-szabályozási terv a kortársak között heves vitákat váltott ki, s az egyik ilyen vita alkalmával, amely Pesten, a Tiszavölgyi Társulat választmánya előtt zajlott, Vásárhelyi rosszul lett és még aznap éjjel, 1846. április 8-án elhunyt.