王的祖父在1950年代左右開了一家鐵罐工廠，有兩到三百名工人的規模，是當時的壟斷企業，號稱「鐵罐王」，家族盛時是台北北區的大地主，王世堅也因此能在民進黨草創初期頻頻提供地產，給民進黨，作為黨部、智庫及其他相關組織的辦公室。

王家有錢，對子女的教育自然不會馬虎，王世堅的父親王明德，在祖父積極栽培下，進入台大法學部就讀，並秘密加入共產黨，加入讀書會，一起辦《光明報》。

1948年王明德送給一位女性朋友《光明報》「贈閱」，之後因對方的隨意放置，被親友向國民黨特務機關舉報，王明德被逮捕，隨後導致台大法學院支部、基隆中學支部等遭破獲，一大批台灣共產黨員遇害。而當年台灣地下黨委書記蔡孝乾因為被牽連被捕，而把組織都出賣了。

王明德「抓耙仔」的名聲從此「困擾」王家包括王明德本人，當然也包括王世堅，之後王世堅出了社會一方面繼承部分家產做起生意，一方面也加入黨外，從事政治活動，更多的是成為支援活動的金主，早年民進黨阮囊羞澀，連黨部辦公室都難覓的時候，王世堅便曾多次提供名下的房產作為黨部辦公的地點。不過他做人也不都是那麼慷慨，跟自己兄弟、堂兄弟合夥做生意時常有抽銀根反悔的傳聞，甚至對簿公堂。