Основан в 1637 г. как «стоялый острог» с засекой. В 1647 году стал городом под названием Царёв-Алексеев, который в 1655 году был переименован в Новый Оскол. В 1708 году город был приписан к Белогородской провинции Киевской губернии, в 1779 году назначен уездным городом Курского наместничества, переименованного в 1797 году в Курскую губернию.
C 20 октября 1721 года по 1 сентября (ст.ст.) 1917 года в составе Российской империи.
С 1 сентября по 25 октября (ст.ст.) 1917 года в составе Российской республики. Далее началась Гражданская война в России 1918—1923 годов.
C декабря 1922 года в составе Российской Советской Федеративной Социалистической Республики Союза Советских Социалистических Республик.
С образованием Центрально-Чернозёмной области (ЦЧО) в её составе 30 июля 1928 года совместным постановлением ВЦИК и СНК РСФСР № 99 был образован Новооскольский район, который при разделе в 1934 году ЦЧО на Воронежскую и Курскую области был включён в состав Курской области.
3 июля 1942 года советские органы и войска оставили город, оккупирован германскими войсками.
28 января 1943 года освобождён от гитлеровских германских войск советскими войсками Воронежского фронта в ходе наступления на белгородском направлении:
18-го стрелкового корпуса (генерал-майор Зыков Пётр Максимович) в составе: 219-й сд (генерал-майор Котельников Василий Петрович), 270-й сд (подполковник Полятков Николай Дмитриевич), 1-й истребительной дивизии (полковой комиссар Беляев Иван Петрович) в составе: 2-й истребительной бригады (полковник Лубман Борис Владимирович), 6-й истребительной бригады (полковник Буслаев Иван Ефимович).
6 января 1954 года Новооскольский район с городом районного подчинения Новым Осколом был включён в состав новообразованной Белгородской области.