Родом из Ростовской области, из крестьянской семьи. В Красной Армии — с 1919 года. Окончил кавалерийскую школу (1926), Военную академию имени М. В. Фрунзе (1936) и Военную академию Генерального штаба (1941).

Участник Гражданской войны, рядовой. После окончания кавалерийской школы командовал взводом, эскадроном. С октября 1938 года — начальник штаба Особой кавалерийской дивизии БОВО, участвовал в походе на Западную Белоруссию в сентябре 1939 года.

В первые дни Великой Отечественной войны подполковник Гречко работал в Генеральном штабе. С июля 1941 года командовал 34-й кавалерийской дивизией, вступившей в 1-й половине августа в бой с немецко-фашистскими захватчиками южнее Киева и до января 1942 года сражавшейся в составе 26-й армии, 38-й армии, затем 6-й армии на Левобережной Украине. С января 1942 года — командир 5-го кавалерийского корпуса, принимавшего участие в Барвенково-Лозовской наступательной операции. С марта 1942 года возглавлял оперативную группу войск, которая в составе Южного фронта действовала в Донбассе. С января 1943 года — командующий 56-й армией, которая в ходе ожесточённых боёв прорвала сильно укреплённую оборону противника и вышла на подступы к Краснодару, а в феврале-апреле в составе Северо-Кавказского фронта участвовала в Краснодарской наступательной операции.В сентябре 1943 года войска 56-й армии во взаимодействии с 9-й армией и 18-й армией в ходе Новороссийско-Таманской наступательной операции освободили Таманский полуостров. С октября 1943 года А. А. Гречко — заместитель командующего войсками Воронежского (с 20 октября — 1-го Украинского) фронта. С декабря 1943 года — командующий 1-й гвардейской армией, которая участвовала в Житомирско-Бердичевской, Проскурово-Черновицкой, Львовско-Сандомирской, Западно-Карпатской, Моравско-Остравской и Пражской операциях.

После окончания войны до 1953 года А. А. Гречко командовал войсками Киевского военного округа. С 1953 года — Главнокомандующий Группой советских оккупационных войск в Германии (с 1954 года — Группа советских войск в Германии). С ноября 1957 года — первый заместитель министра обороны СССР, главнокомандующий Сухопутными войсками СССР.

Указом Президиума Верховного Совета СССР от 1 февраля 1958 года за мужество и героизм, проявленные в борьбе с немецко-фашистскими захватчиками, Андрею Антоновичу Гречко присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».

C 1960 года — первый заместитель министра обороны СССР — главнокомандующий Объединёнными ВС государств — участников Варшавского договора.

С апреля 1967 года до своей кончины — министр обороны СССР. Указом Президиума Верховного Совета СССР от 16 октября 1973 года за заслуги перед Родиной в строительстве и укреплении Вооружённых Сил СССР, Маршал Советского Союза Гречко Андрей Антонович награждён второй медалью «Золотая Звезда».

А. А. Гречко умер 26 апреля 1976 года. Похоронен в Москве, на Красной площади; урна с прахом замурована в Кремлевской стене.

 В Положении о медали говорится: «Медаль „За отвагу“ учреждена для награждения за личное мужество и отвагу, проявленные при защите социалистического Отечества и исполнении воинского долга. Медалью „За отвагу“ награждаются военнослужащие Красной Армии, Военно-Морского Флота, пограничных и внутренних войск и другие граждане СССР».

Среди первых награждённых этой медалью были пограничники Н. Гуляев и Ф. Григорьев, задержавшие группу диверсантов у озера Хасан. До начала Великой Отечественной войны за мужество и отвагу при защите Государственных границ СССР и в советско-финской войне медалью было награждено около 26 тысяч военнослужащих. Во время Великой Отечественной войны за период с 1941 по 1945 год было произведено более 4 млн награждений.

Медаль «За отвагу» с момента своего появления стала особо популярной и ценимой среди фронтовиков, поскольку ею награждали исключительно за личную храбрость, проявленную в бою. Это главное отличие медали «За отвагу» от некоторых других медалей и орденов, которые нередко вручались «за участие». В основном медалью «За отвагу» награждали рядовой и сержантский состав, но также она вручалась и офицерам (преимущественно младшего звена).

В годы Великой Отечественной войны (1941—1945) некоторые солдаты были награждены пятью медалями «За отвагу». Степан Михайлович Зольников (род. 1919) — участник парада Победы, сержант-миномётчик 8-й отдельной Гвардейской стрелковой бригады за годы войны был награждён пятью медалями «За отвагу» и орденом Славы III степени. Первой медали герой был удостоен за бой, произошедший 3 сентября 1942 года в районе Синявинских болот под Ленинградом. Последнюю, пятую медаль «За отвагу» Зольников получил за сражение на Курляндском полуострове в ночь на 9 мая 1945 года. Павел Фёдорович Грибков (род. 1922) — разведчик, участник Великой Отечественной войны, кавалер пяти медалей «За отвагу».

Ипполитова Вера Сергеевна (по мужу — Потапова; род. 1921) — гвардии сержант. Участница Великой Отечественной войны в должности заместителя командира отделения 3-й стрелковой роты 3-го отдельного стрелкового батальона 71-й отдельной морской стрелковой бригады, затем санинструктора 188-го гвардейского стрелкового полка 63-й гвардейской Красносельской стрелковой дивизии.

После разгрома СССР медаль в том же оформлении (с небольшими корректировками) была заново учреждена в системах наград России и Белоруссии.

 Ею награждались: военнослужащие Советской Армии, Военно-Морского Флота, пограничных и внутренних войск, другие граждане СССР, а также лица, не являющиеся гражданами СССР, за умелые, инициативные и смелые действия в бою, способствовавшие успешному выполнению боевых задач воинской частью. А также за мужество, проявленное при защите Государственной границы СССР; за отличные успехи в боевой и политической подготовке, освоении новой боевой техники и поддержании высокой боевой готовности воинских частей и их подразделений и другие заслуги.