Panská skála je pozůstatkem nevelkého čedičového návrší (597 m) vyčnívajícího z náhorní plošiny mezi Kamenickým Šenovem a Práchní. Její jméno vzniklo překladem německého názvu "Herrnhausfelsen" (Herrnhaus = panský dům), odvozeného od staršího lidového označení Gehörnhaus. Slovem "Gehörn" se ve zdejším kraji kdysi označovaly strmě čnějící skalní útvary.

Původně zde bylo asi 30 m vysoké holé návrší s trojicí křížů na vrcholku, nazývané Kalvárie nebo Křížový vrch. Již před koncem 18. století na něm jeden z prácheňských sedláků lámal čedičové sloupy, které se používaly na dveřní, okenní i jiné sloupky, patníky, obrubníky apod. Při lámání byla postupně odhalena pozoruhodná vnitřní stavba vršku, tvořeného štíhlými čedičovými sloupy. Pravidelně vyvinuté čtyř až šestiboké sloupce jsou až 15 m dlouhé a v průměru mají okolo 20 - 25 cm. Uprostřed návrší stojí téměř svisle, ale směrem do stran se postupně sklánějí, a protože jsou uspořádány podle výšky jako píšťaly varhan, říká se skále lidově Varhany.

Tato jedinečná ukázka sloupcové odlučnosti čediče by ale s postupující těžbou zřejmě zanikla, kdyby se o její zachování nezasloužila řada významných lidí. Jedním z nich byl i profesor Josef Emanuel Hibsch (1852-1940), který v té době působil na Zemědělské akademii v Děčíně-Libverdě a svůj život zasvětil geologickému studiu Českého středohoří.

Detail čedičových sloupů v hlavní stěně Panské skály.Záchrana Panské skály se stala i jedním z hlavních cílů Českolipsko Exkurzního klubu, založeného 10. dubna 1878. Jeho snaha však byla dlouho neúspěšná, protože zákony na ochranu přírody ještě neexistovaly a Český zemský výbor Žádost o vykoupení skály zamítl s odůvodněním, že na Takové účely nemá žádné Peníze. V roce 1902 proto bylo v deci Založeno Sdružení na záchranu Panské skály, které se snažilo potřebné Peníze do ochranného fondu shromáždí sbírka, pořádání loterie, dobročinných bálu, prodejem upomínkových předmětu s motivem skály apod. V roce 1904 se tak podařilo dosáhnout alespoň zastavení těžby na samotnou vrcholku skály, takže lámání pokračovalo jen v předpolí, kde později vzniklo malebné jezírko. V listopadu 1906 byla s majitelkou lomu uzavřena nová dohoda o pronájmu Hlavní část skály na 6 let za roční poplatek 300 korun, hrazeno z úroku ochranného fondu a z příspěvku Horského spolku pro České Švýcarsko a okresního zastupitelství České Kamenice. Po vypršení smlouvy v lednu 1913 ale majitelka lámání sloupce ze skály obnovila a za další pronájem požadovala dvojnásobnou cenu, na kterou doposud setkávání kapitál nestačil. Teprve po opakovaných intervencích byla 12. března 1913 další těžbě okresních hejtmanstvím v deci přerušena a po komisionelním projednání na místo bylo 30. dubna 1913 lámání kameny na Panské skále zakázán. V roce 1914 byla skála okresním výborem v České Kamenici za 20 000 korun vykoupena a od té doby mela být chráněna.

Detail čedičové sloupu na temeni Panské skály. Během 1. světové války bylo ale přes Cetnov protesty lámání kameny v malé Mire obnoveno a pokračovalo i mezi Valka. V roce 1939 se dokonce uvažovalo o odtěžení celé plochy mezi skálou a silnicí, kde mělo vzniknout turistické zázemí s parkem, a vytěžené sloupky měly být použit k zabezpečení ponorkové základny na ostrově Helgoland. K uskutečnění tohoto projektu už ale nedošlo a po válce v roce 1948 byla těžba na Panské skále definitivně zakázána. Narušená skalní stěna byla zakonzervován a roku 1953 byla skála prohlášení přírodní rezervace.

Dnes má Panská skála statut národní přírodní památky a je nejnavštěvovanější geologickým útvarem v Čechách, dobře známým i geologům v zahraničí. Jménem známá, ale zato mohutnější skalní stěna z čedičové sloupu je takové na nedalekém Zlatém vrchu.

Krásný výhled na kopcovitou krajinu Lužických hor narušilo v roce 2006 obrovské parkoviště. Z vrcholu Panské skály je pěkný výhled do okolí. Na západě je za Kamenický Šenovem vidět Táhlo Smrčník, vpravo od ní se otevírá pohled k České Kamenici se Zámečku vrchem a v pozadí jsou lesnaté kopce České Švýcarsko s dominantou Růžovský vrchu. Na severní straně je Šenovská vrch se vzdálenějším Ovčáckým vrchem, za nimiž uzavírá obzor hřeben Lužických hor se Studencem, Chřibská vrchem, Javorem a Jedlovou. Východně od Panské skály je osada Prácheň se zalesněnou Vyhlídkou, severovýchodně od osady se táhne Hřbet Obrázku s klikou, za nimž vyčnívá špičatý Klíč a v pozadí vpravo od ní Zelený a Jezevčí vrch. Na Jihovýchod se otevírá pohled k Novému Boru na Chotovický vrch, Slavíček a Tisová vrch s Ralskem v pozadí. Výhled k jihu zakrývá zalesněný masiv Kameník s Českou skálou.

Na jihovýchodní úpatí Panské skály stojí Mariánský sloup, postavený na památku mladého Tovaryš a vdovy, které zde umrzli za Bouřlivé zimní noci 18. ledna 1739. Jeho přesné starých neznámé. Můžeme sice předpokládat, že byl postaven ještě v roce 1739, máme-li však věřit lidové tradici, podle níži nechal sloup postavit Prácheňské Rychtář Christian Palme, stalo se tak asi až po roce 1773. V roce 1838 nechal sloup zrenovovat Christianův syn Sebastian a další oprava proběhla v srpnu 1924. V lednu 2001 byl sloup neznámým vandalem povalení a rozbít na několik kusu, naštěstí se jí ale podařilo opravit, takže od léta 2002 už zase stojí na svém Mist v plné kráse. Sloup kdysi obklopovalo šest lip, z nichž dnes zůstala už jen jediná. V roce 2006