Отец его был помещик, отставной гусар, служил управляющим имением матери писателя В. А. Соллогуба; мать — француженка, дочь погибшего на гильотине во время террора роялиста де Вармона. Григорович рано лишился отца, устроившего семью в Каширском уезде Тульской губернии, и вырос на руках матери и бабушки, которые дали ему французское воспитание. 8 лет его отвезли в Москву, где он пробыл около 3 лет во французском же пансионе «Монигетти», по окончании оного в 1836 поступил в Санкт-петербургское инженерное училище (ныне Военный инженерно-технический университет), в котором проучился до 1840 г., и где познакомился с Ф.М.Достоевским. Наполовину француз, Григорович в ранней молодости неудовлетворительно владел русским языком, долго говорил с французским акцентом. Не имея к точным наукам никаких предпочтений, позже переводится в Академию художеств. Здесь он довольно близко познакомился с Тарасом Шевченко. В 1858—1859 годах Григорович по поручению морского министерства совершил путешествие вокруг Европы и описал его в ряде очерков, носящих общее заглавие «Корабль Ретвизан». Первые литературные опыты Григоровича рассказы «Собачка», «Театральная карета», напечатанные в «Литературных прибавлениях к „Русскому инвалиду“», были ещё очень слабы в художественном отношении. Около 1841 г. он познакомился с Некрасовым, в то время издававшим разные юмористические сборники: «Первое апреля», «Физиология Петербурга» и др. Позже в них и появились первые серьёзные произведения молодого писателя — «Штука полотна» 1846 и «Петербургские шарманщики» 1845, которыми он обратил на себя внимание Белинского. Также писал небольшие очерки в «Литературной газете» и театральные фельетоны в «Северной пчеле». В сущности, мало и плохо зная быт крестьянства, под влиянием кружка Бекетовых, в неполные 23 года он берётся за большую повесть, и в конце 1846 г. была напечатана (в «Отечественных Записках») «Деревня», сразу давшая Григоровичу литературное имя, а в 1847 году в «Современнике» — знаменитый «Антон Горемыка». «По прочтении этой трогательной повести, — говорил Белинский, — в голове читателя поневоле теснятся мысли грустные и важные». Григорович первый посвятил большую повесть ежедневному быту самого серого простонародья — не того, «лубошного», а народа во всей его неприглядности. Жизненность, с которой в «Деревне» обрисован народный быт, была так необычна для того времени, что славянофилы, любившие народ только в прославлениях его величавости, усмотрели в повести Григоровича унижение народа. За ним последовал ряд небольших повестей из столичной жизни. В начале 1860-х гг., когда в редакции «Современника» произошёл раскол между группой писателей-дворян и молодыми радикальными разночинцами, Григорович был всецело с первой группой и вышел из «Современника». Чернышевский в своей статье «Не начало ли перемены?» подверг резкой критике Тургенева и Григоровича. По мнению современников, с тех пор Григорович к Чернышевскому, лидеру радикалов, относился с ненавистью. С 1864 года Григорович надолго совершенно замолкает, не находя точек соприкосновения с современностью, и уходит в работу по «Обществу поощрения художеств», деятельным секретарем которого он оставался долгое время. За долголетние труды по обществу Григоровичу были пожалованы чин действительного статского советника и пожизненная пенсия. В середине 1880-х годов Григорович снова берется за перо и пишет повести «Гутаперчевый мальчик», «Акробаты благотворительности» и «Воспоминания» 1893.