彭谷声妻子为吴雅琴，两人相识于上海。
吴雅琴出身于江苏苏州的名门望族，从小在江南大宅长大，在上海有不少地产。彭谷声从溧阳来到上海谋生，在租房时认识了吴雅琴，吴雅琴倾心于彭谷声的博学和文采，两人自由恋爱，在当时很少见。
吴雅琴家人一开始不同意两人婚事，认为两人家庭背景等差距悬殊，但后来吴雅琴的父亲见到彭谷声后，逐渐认可了彭谷声的学识后，就接纳了他。
吴雅琴从小长大的园林还有一副乾隆皇帝题赐的玉匾，在战乱时被毁。
彭谷声与吴雅琴婚礼的证婚人为民国知名革命人士、学者章太炎，张大千亦亲自作画两幅，作为婚礼赠礼。