시조 김영이(金令貽)는 신라 신무왕의 후손이다. 신무왕의 아들로 4명이 있었는데, 첫째 김경응(문성왕), 둘째 김영광(강진김씨), 셋째 김흥광(광산김씨), 넷째 김익광(영산김씨)이다. 이 4명의 아들 중 넷째 김익광의 후손이 바로 시조 김영이다. 그는 고려 조에서 전객시령(典客寺令)을 지내고 추충동덕보사공신(推忠同德保社功臣)으로 검교 도첨의찬성사(檢校都僉議贊成事)에 추증되어 영산군(永山君)에 추봉되었다. 그의 아들 김길원(金吉元)은 공민왕 때 홍건적을 토평한 공으로 영산부원군(永山府院君)에 봉해졌다. 그리하여 후손들이 그를 시조로 하고 영산[영동의 옛이름]을 본관으로 하여 세계(世系)를 이어오고 있다.

시조 김순(金淳)은 신라 경순왕의 넷째 아들인 김은열의 후손으로 김석아(金錫我)의 아들이다. 그는 세종 14년(1432) 식년문과에 을과 2위로 급제하고 벼슬이 대사헌에 이르렀다. 『국조문과방목(國朝文科榜目)』에 김순의 본관이 의성(義城)으로 되어있는 것을 보면 의성김씨에서 분관하여 본관을 영산으로 한 것으로 보인다.