1894년 동학 혁명이 일어나 일본 세력의 침투가 표면화되자 그 힘을 빌어 제1차 김홍집 내각을 조직, 총리대신이 되었다. 그해 동학 농민 혁명이 일어나자 명성황후(明成皇后)가 청나라군을 끌어들였고, 조선에의 침투를 바라던 일본군은 청일 전쟁을 일으키기 며칠 전인 음력 6월 21일(양력 7월 23일)에 경복궁을 습격하고 무기고를 탈취하는 등 김홍집 일파를 지원하였다. 한편 김홍집은 일본 조정과 친하다는 이유로 음력 6월 말부터 제1차 김홍집 내각을 조직하고 총리대신이 되어 갑오개혁을 단행하였다. 개혁기구로 군국기무처를 설치하고 총재가 되었으며, 대원군을 불러들여 민중의 불만을 완화하고자 하였다.

총리대신으로 그는 악습을 폐지하고 과거제 폐지, 은본위제의 신식화폐제도 채택, 의정부와 궁내부의 관제 시행, 도량형제도의 채택 등의 개혁을 단행했다.

청일 전쟁의 결과 일본이 득세하자 갑신정변으로 일본에 망명갔던 강력한 친일파 박영효가 입각한 제2차 김홍집, 박영효 연립 내각이 성립되었으며, 이때 군국기무처를 없애고 1차 내각때부터 작성한 초안을 완성, 새로운 법령인 홍범 14조(洪範十四條)를 직접 수립하여 고종으로하여금 발표하게 하였다. 이어 8아문을 7부로 고치고, 지방 8도를 23부로 바꾸고 교육입국조서를 발표하여 사범학교를 설립하였다. 그러나 재정난과 박영효(朴泳孝)·서광범(徐光範) 등과의 대립, 유길준 등의 소극적 협력 등으로 지원 세력이 없어 내각은 곧 와해되고, 박영효가 역모사건으로 일본 망명하고 박정양 내각이 탄생하였다.