시조(始祖) 김득배(金得培)는 김알지(金閼智)의 후예인 상산김씨(商山金氏) 시조 김유(金儒)의 11세손이며 판전의(判典醫) 김록(金祿)의 아들로 상산김씨 족보에는 문충공파조(文忠公派祖)로 되어 있다. 그는 고려(高麗) 때 문과(文科)에 급제(及第), 예문검열(藝文檢閱), 전객부령(典客副令), 우부대언(右副代言), 추밀원직학사(樞密院直學士), 서북면도지휘사(西北面都指揮使), 수충보절정원공신(輸忠保節定遠功臣), 정당문학(政堂文學) 등을 지냈으며, 공민왕 10년 20만의 홍건적이 개경(開京)까지 침략해 왔을 때 이성계(李成桂) 등과 함께 싸워 개경(開京)을 되찾았다고 한다. 이에 후손들이 그를 시조로 서산(瑞山)을 본관(本貫)으로 세계(世系)를 이어온 것으로 보인다.
한편 문헌에 따라서는 고려(高麗) 때 대학사(大學士)를 지낸 김영중(金永中)을 시조로 삼기도 한다.