영양김씨는 중국 봉양부(鳳陽府) 여남(汝南)에서 계출(系出)되었다고 한다. 『영양김씨세보(英陽金氏世譜)』의 기록에 의하면 당(唐)나라에서 형주자사(荊州刺史) 겸 안렴사(按廉使)를 지낸 김충(金忠)이 사신으로 일본에 가다가 심한 풍랑으로 신라 인근의 해안인 경북(慶北) 영덕군(盈德郡) 축산(丑山)에 표착하였다. 이 사실을 전해들은 경덕왕은 영양(英陽)을 식읍으로 하사하고 남씨(南氏)로 사성(賜姓)하였으며, 그가 죽은 후 영의(英毅)라는 시호(諡號)를 내려주었다.
그러나 김충의 아들 김석중(金錫中)은 아버지의 본래의 성(姓)인 김(金)을 사용하며 영양(英陽)에 뿌리를 내리고 살면서 그의 아들 김원(金源)으로 하여금 김씨의 혈통을 잇게 하였다.
그 후 세계가 실전되어 계대(繼代)를 밝히지 못함으로 고려조에서 상호군(上護軍)을 역임한 김충황(金忠晃)을 일세조로 하고 관향(貫鄕)을 영양(英陽)으로 삼게 되었다고 한다.
그러나 『조선씨족통보(朝鮮氏族統譜)』에는 영양김씨를 석릉(石陵：안동의 별호) 김씨라고도 하며, 고창군(古昌郡) 태수(太守)인 김선평(金宣平)의 후손으로 기록하고 있다.