세도정치를 주도한 세력은 흔히 '장동 김씨'라 불리는, 한양을 근거로 한 후 안동 김씨의 한 분파(주로 김상헌, 김상용 후손)였다.
이들 장동 김씨는 장동, 즉 장의동(오늘날의 서울특별시 종로구 효자동 일대)에 모여 살았기 때문에 그런 이름이 붙었다. 당시 정계 고위직에서 영남 남인을 찾는 것은 거의 불가능했으며, 지방의 양반들은 영호남 할 것 없이 은거하며 학문을 하는 경우가 대부분이었다.
특히 이인좌의 난은 이러한 상황에 기름을 부었다. 그나마 지방 양반 중에는 기호(경기 / 충청) 지역의 노론 이외에 기호 지역의 소론, 남인 일부가 요직에 등용된 것이 고작이었다.
그래서 영남 유림들은 정조, 순조에 끝없이 자신들의 억울함을 주장하며 이름도 유명한 영남 만인소를 여러차례 올리기도 했고 훗날 대원군이 세도 정치를 혁파하고 탕평적인 인사를 펼치고 나서야 영남 유림들이 일부 등용되었으며 그들은 이후 대원군의 지지 세력이 되었다.
장동 김씨는 주류인 노론에 합류하였고 사도세자를 옹호하는 시파로 노선을 타면서 정조의 눈에 들게 된다.
김조순은 정조가 총애했고 생전에도 그와 사돈 관계를 맺으려고 했다.
정조 본인도 김조순의 증조부인 김수항 등의 학문을 정순하다고 여겨 존경했을 정도였다. 정조 본인은 노론 자체를 싫어한 것도 아니며, 싫어할 수도 없는 것이 오히려 노론의 영향을 받고 성장한 인물이다.
정조는 문체반정이니 하는 행보를 밟았고 심환지에게 나도 벽파라며 커밍아웃하기도 했다.
안동 김씨는 나라 망하게 한 가문으로 인식이 박혀 있지만 족보를 거슬러 올라가면 청백리나 훌륭한 관리, 재상도 많다. 세도 정치의 막을 연 김조순도 실록을 보면 관서 지방을 다녀와 백성들의 어려움을 상소한 일도 나오고, 관대한 면도 있는 유능하고 곧은 관료였다. 위에서 언급했듯이 그는 생전에 정조의 큰 신임을 받는 정조의 친위 세력이었고, 그의 딸이 순조의 비가 된 것도 정조의 유지에 따른 것이었다. 그가 안동 김씨를 이끌던 시기는 안동 김씨의 전횡이 표면적으로 드러나지 않아서 김조순은 당대에 매우 높은 평가를 받았다. 하지만 김조순의 뒤를 이어 김조순의 아들인 김좌근과 양손자인 김병기, 또다른 장동 김씨인 김문근 등이 국정을 농단하면서 세도 정치는 모두가 아는 막장의 길로 접어들게 된다. 과거에서 왕족을 제치고 장동 김씨 출신이 급제하자 '조선이 이씨의 나라인가, 김씨의 나라인가'를 외친 경평군 이세보가 털려서 귀양을 갔을 정도였다. 어찌나 이들의 위세가 높았는지 이원경을 추존하려던 역모의 주모자들도 왕은 갈아치워야 하지만 안동 김씨는 보전해야 한다는 소리를 할 정도였으니 말 다했다. 그래도 상황이 급변하면 하루 아침에 역적으로 몰려 멸문지화를 당할 수도 있었음을 우려했는지 왕실의 외척 즉 왕의 장인 자리는 놓지 않았다.
비록 헌종조 초와 철종조의 안동 김씨의 권력 독점은 조선이 망하는 데 크게 기여한 건 사실이지만 적어도 이들은 자기 집안이라면 능력도 안 보고 무조건 요직에 앉힌 여흥 민씨와는 비교하는 게 실례일 정도로 일족 관리가 굉장히 철저한 편이다. 참고로 이 집안은 무능하다고 판단되면 얄짤없이 실권이 없는 한직으로 보내는 건 기본이고 승진도 안 시켜준다. 실제로 그 악명 높은 흥선대원군조차도 손을 쓰기 힘들었을 정도였다. 그래서 김병학과 김병국을 중앙 정계에서 완전히 몰아내는 건 불가능했다. 고종 초의 정승과 재상직을 역임하며 대원군의 개혁 파트너 급으로 활약하기도 했다. 김병학은 고종 초의 대표적 영의정이었고 대원군의 개혁 정책을 뒷받침했으며, 그의 아우인 김병국은 이조 판서, 호조 판서를 역임했고 사창제 실시에 크게 기여했다. 그렇지만 끝내 정승 자리에 오르지 못한 것이 한이 됐는지 대원군 하야를 거들었고 덕분에 고종 친정 이후에 이최응과 함께 정승직을 역임할 수 있었다. 김병기는 병조판서, 좌찬성을 역임했다. 대원군 하야 이후에는 김병덕, 김병교, 김병시, 김병지 등 안동 김씨들이 판서급의 요직에 대거 기용되었다.
안동 김씨 세도 정권은 천주교에 대해 비교적 관대한 편이었다. 엄밀히 말해선 큰 관심이 없던 것에 가깝지만. 천주교 탄압에 적극적이었던 것은 정순 왕후와 벽파 세력이었고 그 이후에 집권한 안동 김씨 입장에선 굳이 천주교 잡을 이유가 없었다. 오히려 안동 김씨 내부에서는 천주교 신자들도 간간히 나왔는데 대표적인 것이 김상헌의 봉사손인 김건순으로 이 사람은 병자호란의 치욕을 씻기 위해 군사를 일으켜 청나라를 정벌하려는 망상을 품고 있다가 체포되어 처형되었다. 여러 의미에서 시파(時派 : 시류에 영합)다운 면모. 헌종 때의 천주교 박해인 기해박해를 주도한 세력은 풍양 조씨. 그래서 기해박해는 풍양 조씨가 안동 김씨를 견제하기 위한 정치적 박해라는 해석이 있다. 다만 기해박해 때는 순원 왕후 김씨의 수렴 청정기였고 김좌근이 대비의 자문을 맡고 있었던 데다가 바로 다음해에 기해박해를 주도한 정승이자 풍양 조씨와 겹사돈 관계였던 이지연이 탄핵, 유배되는 사태가 벌어졌기 때문에 풍양 조씨에게 주도권을 빼앗겼다는 식으로까지 해석하기는 무리가 있다.