王胡之在东山时，偶然贫乏。当地县令陶范是晋初有名的大将陶侃之子。陶侃曾担任荆州刺史，手握重兵，但是他出身寒族，虽然动乱时代可以出人头地，但还是被门阀士族瞧不起。陶范想讨好这位名门出生的王胡之，一出手送了一船米给他。王胡之不仅不要，还直接回答说：“我王修龄（王胡之字修龄）要是饿了，自然到谢家要米。不需要你陶胡奴的米！”（这个故事在《世说新语·方正》第52）可见王胡之为人一向狂妄自大，并且鄙视寒门。在《世说新语·方正》第52笺疏中有记载“嘉锡案：侃别传及今晋书均言范最知名，不知其人以何事得罪于清议，致修龄拒之如此其甚。疑因陶氏本出寒门，士行虽立大功，而王、谢家儿不免犹以老兵视之。”根据《晋书·列传第三十六·陶侃》：“陶侃字士行，本鄱阳人也。吴平，徙家庐江之寻阳。父丹，吴扬武将军。”一个将军的后人出身也不能算低了，而且《豪爽》篇中所称赞的有好几位武人，这让人匪夷所思。但是，再深入一看，就能看出个，魏晋士大夫是看不起军人出生的贵人，他们仰慕的是豪门出生的军人。像陶侃这样拥兵自重的雄桀，竟然没有被采录在《豪爽》篇中，其原因就是《世说新语》是一本记载名士风度的书，里面记载的豪爽是出身豪门人士的豪爽，而不是寒门的豪爽。《豪爽》篇内所称赞的几个人：王敦、晋明帝、祖逖、庾稚恭、桓温、桓石虔、陈林道、王胡之、桓玄，均是豪门出身。王敦是王导的“从父兄也”，属于琅邪王氏；晋明帝是帝王之家出生；“祖逖字士稚，范阳遒人也，世吏二千石，为北州旧姓”；桓温、桓石虔、桓玄是一家人，都是桓彝的后人，而“桓彝字茂伦，谯国龙亢人，汉五更荣之九世孙也”；陈林道是三国时陈群的后人；王胡之是王廙的后人，而王廙则是王导的从弟，也是琅邪王氏。