Константин Павлович родился 27 октября 1965 года в Курске. Учился в школе №10, был активным членом пионерской дружины и комсомольской организации школы. В старших классах серьёзно увлекался спортивной борьбой. В 1983 году поступил в Ломоносов Ленинградской области в мореходное училище. Проучившись год, решил оставить учёбу. С 1984 по 1987 Константин Павлович проходил срочную службу матросом на Черноморском флоте в Севастополе, по окончании которой продолжил служить мичманом на корабле «Сдержанный», позже на большом десантном корабле «Ямал». В октябре 1987 года в Севастополе Константин Павлович женился, а в 1991 году у него родилась дочь, сообщили в группе "Средняя школа №10 им. Е.И.Зеленко" ВК.
В составе экипажа «Ямала» мужчина принимал участие в боевых действиях при выполнении задач по обеспечению безопасности и защите граждан РФ, проживающих на территории Южной Осетии и Абхазии в августе 2008 года. Выполнял задачи боевой службы в Средиземном море. В разные годы на разных судах был в Сирии. В 2010 году старший мичман Константин Шмаргун был уволен в запас.
Константин Павлович решает пойти на вспомогательные суда. С сентября 2019 года служил на судне «Спасатель Василий Бех». Спасательное судно участвовало в спецоперации. 17 июня 2022 года экипаж судна решал военные задачи, поставленные командованием Черноморского флота в районе острова Змеиный. В 4 часа утра судно было атаковано ракетами ВСУ. Старший матрос Константин Шмаргун погиб.
Указом Президента Российской Федерации за мужество, отвагу и самоотверженность, проявленные при исполнении воинского долга, Константин Шмаргун награждён Орденом Мужества (посмертно).
Константин Павлович был мужественным, волевым человеком. В феврале 2022 года с началом СВО у него была возможность покинуть судно и остаться в стороне от страшных событий. Но он этого сознательно не сделал. Уходя в свой последний поход, все члены экипажа понимали, в какую опасную зону они идут. Но на острове Змеиный российским бойцам нужна была помощь.
