Ён нарадзіўся 27 мая 1859 года ў Гродне ў небагатай яўрэйскай сям'і, на сем гадоў раней за свайго славутага земляка Льва Бакста. Бацька - карэнны жыхар горада на Нёмане - Меер Іакаў Бярковіч, пісьменнік па багаслоўскіх пытаннях, памёр, калі Эліясу споўнілася толькі тры гады. У хлопчыка былі яшчэ чатыры старэйшыя браты і тры сястры, і ўсё выхаванне дзяцей узяла на сябе маці - Міна Гіршаўна Лапідус, вельмі жорсткая жанчына. Але хутка выхаваннем унука заняўся дзед - вядомы ў Паўночна-Заходнім краі Расійскай імперыі дабрачынец, які пастаянна пражываў у Вільні, але ў Гродна прыязджаў два-тры разы на месяц. Аднак, мабыць, яму надакучыла матацца туды-сюды, і ён забраў сваю дачку з унукамі да сябе, у Вільню. І тут маленькі Эліяс захапіўся тым, што стаў выразаць з тачыльных камянёў усякую ўсячыну, у тым ліку фігуркі людзей і жывёл, а некаторыя вырабы нават умудраўся прадаваць употай ад маці. Справа ў тым, што тая да захаплення сына разьбой ставілася, шчыра скажам, дрэнна, бо, на яе думку, гэта вельмі перашкаджала яму вучыць Талмуд. Бывала, што маці проста выкідвала работы сына. І тады Эліяс хаваўся ў зацішнае месцейка і там выразаў, каб потым пачуць пахвалу ад братоў і сёстраў, якія ставіліся да яго захаплення добра. Словам, імкненне хлопчыка да мастацтва было вышэй за зубрэнне.
Першай работай юнака можна лічыць фігурку старога яўрэя, які збірае міласціну. Яе ўхваліў стары разьбяр пячатак Грыліхес і, больш за тое, пазнаёміў будучага скульптара з самім мэтрам Мацвеем Антакольскім, што ў той час гасцяваў на сваёй радзіме - у Вільні. На шчасце, маці Эліяса тады з'ехала па справах у Пецярбург і, значыць, не магла паставіць сыну заслону ад уплыву знешняга асяроддзя. Антакольскі паглядзеў вырабы Эліяса, якія здзівілі сваёй прывабнай, прыцягальнай наіўнасцю і- што было нечакана- вострым падабенствам. Талент хлопчыка быў відавочны. І Антакольскі, чалавек, які глядзеў далёка наперад, вырашыў узяць шэфства над 11-гадовым пачаткоўцам.
А як забраць юнака ў Пецярбург без дазволу маці? Тады старэйшы брат Эліяса усё ж напісаў ёй ліст, дзе патлумачыў сутнасць праблемы. Тая кажа: не, маўляў, не дазваляю Эліясу пакідаць Вільню і ехаць чорт ведае куды! Антакольскі на гэта адрэагаваў проста: "Калі вы цяпер не адпусціце хлопчыка, потым мне не прадаставіцца другога выпадку і магчымасці ўзяць яго з сабой". Што ж рабіць? Сваякі скарысталі апошні шанц: звярнуліся да 75-гадовага аўтарытэтнага Гінцбурга. Мудры дзед без усякіх сумненняў даў дабро і асабіста праводзіў унука ды маэстра Антакольскага на вакзал. Спачатку Антакольскі пасяліў свайго пратэжэ ў сябе, непадалёк ад Акадэміі мастацтваў, на чацвёртым паверсе дома Вароніна (вугал 7-й лініі). На наступны дзень сустрэліся з маці Эліяса, якую майстар усё ж угаварыў пайсці насустрач жаданню яе сына. Увечары ж Антакольскі павёў Гінцбурга ў сваю майстэрню, палову якой займаў вядомы жывапісец К.Савіцкі - той самы, што напісаў мядзведзяў на карціне І.Шышкіна "Раніца ў сасновым бары".
У лісце (верагодна, канец 1870 года) у Вільню да свайго сябра маладосці Вульфа Барэля Мацвей Антакольскі піша: "Мілы сябра Барэль! Разам з лістом табе прывязуць і вусныя навіны: пра мае творы. Але ў мяне да цябе просьба. Ты мяне запытаў пра хлопчыка Гінцбурга. Магу паведаміць, што яго чакае вялікая будучыня. Многія з маіх знаёмых цікавяцца ім, жадаюць яго змясціць у платны пансіён. Я ж хачу яго аддаць у рысавальную школу. Сёння мяне зноў папрасілі з Таварыства падтрымкі мастацтва дазволіць клопат аб ім, хаця ні яго, ні яго работ не бачылі. Але яны спадзяюцца на мой густ. Бачыш, ужо можна сказаць, што ён амаль шчаслівы. Аднак якая карысць ад усяго гэтага, калі яго нельга аддаць ні ў школу, ні ў пансіён, ні куды яшчэ, бо ў яго няма папер. Мяне здзіўляе, што яго маці вырашыла скінуць на мяне клопат пра яе сына і сама так мала аб ім клапоціцца. Я, барані божа, не патрабую ад яе ўдзячнасці, толькі - чалавечнасці. Я ведаю, што яна, мабыць, можа гэта зрабіць. Скажы ёй, што я - цярплівы, але і ўпарты, асабліва ў дачыненні да таго, хто робіць нясправядлівасць. Цяпер ён мне каштуе нямала, таму што яму патрэбна сподняя бялізна, якую я ўжо заказаў. Прашу цябе з чалавекалюбства перадаць ім гэта і растлумачыць, наколькі яно несправядліва..."
Карацей кажучы, дзякуючы Антакольскаму 
хлопчык аказаўся ў Пецярбургу, што ў выніку вырашыла ягоны лёс. Раніцамі вучыўся азам лепкі ў майстэрні творцы, а вечары разам з настаўнікам праводзіў у кампаніях вядомых дзеячаў культуры. Там упершыню пабачыў кампазітара А.Сярова і яго сына - пачаткоўца-жывапісца В.Сярова, празаіка І.Тургенева, мастакоў Г.Семірадскага, В.Максімава, І.Рэпіна, І.Крамскога. М.Ге і іншых знакавых фігур. Многія з іх пазней знойдуць сваё ўвасабленне ў партрэтнай галерэі Гінцбурга і стануць класікай рускай скульптурнай пластыкі канца XIX - першай чвэрці XX ст.
М.Антакольскі: "Я вярнуўся ў Санкт-Пецярбург, захапіўшы з сабой прыгажуна дзіця, у якога заўважыў талент. Хутка Эліяс стаў любімым усімі, і мне дапамагаў ужо ў барэльефах на крэсле Івана Грознага..." Дакладней - Гінцбург зрабіў арнаменты на троне статуі цара.
У 1871 годзе Антакольскі, ужо маючы званне акадэміка, па парадзе ўрача С.П. Боткіна паехаў на лячэнне горла ў Італію. Узяў з сабой і юнака Гінцбурга, каб той паглядзеў радзіму Адраджэння. Аднак мэтру лягчэй не стала, ён вымушаны быў застацца ў Італіі, і так здарылася, што на радзіму ён больш не вярнуўся. Але ўдзячны Гінцбург пасля шмат разоў наведваў яго ў час сваіх падарожжаў па Еўропе, і пасля смерці настаўніка ніколі не забываў яго: зрабіў цудоўную кампазіцыю "М.М. Антакольскі ля станка", бронзавы бюст майстра, а таксама надмагільны помнік. У сваім артыкуле "Эстэтызм і свабода мастацкай творчасці" Гінцбург пісаў у 1901 г. пра Антакольскага: "Валодаючы філіграннай тэхнікай, майстар змог у мармур і бронзу ідэальна ўліць пачуццё і думку, зліць разам форму і змест і стварыць такую гармонію, якая зачароўвала сучаснікаў. Праца Антакольскага была ўсім зразумелая. Ён даказаў, што пластыка пасля доўгага сну прачнулася і... можа і павінна хваляваць душу ды ўзнімаць настрой..."
Але вернемся назад. Да паступлення ў Акадэмію мастацтваў Гінцбург паспеў правучыцца ў Другім Рэальным вучылішчы, але ніякага следу гэтая вучоба ў жыцці будучага скульптара не пакінула. Затое акадэмія, вучоба ў такіх мэтраў, як А.Р. фон Бок, М.Лаверэцкі, І.Падарэзаў, зрабіла сваю справу. Ужо ў 1886 г. Гінцбург атрымаў залаты медаль і званне класнага мастака І ступені за кампазіцыю "Плач прарока Іерэміі на руінах Іерусаліма". Далей усё пайшло як па масле. Але, акрамя ўласна лепкі, Гінцбург амаль штодзённа сустракаўся з тымі, хто яго прыцягваў як інтэлектуалы духу, як выразнікі перадавых грамадскіх памкненняў. Асабліва любіў ён бываць у кампазітара Аляксандра Сярова і яго жонкі Валянціны Сямёнаўны, якая потым пісала: "Антакольскі пазнаёміў мяне са сваім Эліясікам: такога душэўнага дзіцяці я не сустракала ніколі! Абажанне свайго настаўніка, якое даходзіла да нечуванага энтузіязму, накладала на яго адбітак найвышэйшага натхнення". Але, канешне ж, самым родным для Гінцбурга стаў дом сям'і Уладзіміра Стасава, выдатнага музычнага і мастацкага крытыка і ідэолага "Могучей кучки", дзе збіраліся лепшыя людзі рускай культуры і мастацтва.
І.Гінцбург: "Уладзімір Васільевіч ведаў мяне яшчэ дзіцем. Спачатку ён замяніў мне бацьку, потым быў маім настаўнікам, а пасля - таварышам і сябрам. Па нядзелях я звычайна прыходзіў да Стасавых, і У.В. падоўгу распытваў мяне, як я праводжу час, што чытаю, чаму навучаюся і на якія сродкі жыву. Перад маім сыходам прапаноўваў мне трошкі грошай на рамізніка. Я адмаўляўся, хаця і вельмі тады бедаваў. Але, калі вяртаўся дадому, знаходзіў у кішэнях або пад падшыўкай шапкі некалькі асігнацый..."
Дапоўню, што менавіта Стасаў быў тым чалавекам, з якога Гінцбург вылепіў першую сваю статуэтку з натуры. Стасаў памёр у 1906 годзе, і тады лепшым сябрам для Іллі Якаўлевіча стаў Рэпін, які, па словах скульптара, "сыграў такую ж, як Антакольскі і Стасаў, велізарную ролю" ў ягоным жыцці. Да слова, Рэпін яшчэ ў 1871-м зрабіў эцюд з 12-гадовага хлопчыка Гінцбурга для галавы Іаана ў сваёй ранняй карціне "Уваскрашэнне дачкі Іаіра", а пазней, праз 28 гадоў, напісаў цудоўны партрэт свайго малодшага сябра.
Асаблівая старонка жыцця Гінцбурга - моцнае сяброўства з Л.М. Талстым. З пісьменнікам яго пазнаёміў яшчэ ў 1891 г. Стасаў, і так сталася, што гэтае сяброўства хутка перарасло ў дзівосны тандэм генія слова і таленавітага майстра скульптуры. Талстому Гінцбург так спадабаўся, што ён заўсёды з радасцю яму пазіраваў, хаця рабіць гэта, як вядома, для другіх мастакоў не вельмі любіў. Больш за тое: аўтар "Вайны і міру" асабіста дапамагаў скульптару ў наваколлі Яснай Паляны здабываць гліну для працы! У спадчыне Гінцбурга - чатыры статуэткі пісьменніка, два бюсты, мноства натурных малюнкаў, барэльеф і вялікая статуя, якая сёння знаходзіцца ў ЗША.
І.Гінцбург увайшоў у гісторыю мастацтва як майстар асобнага жанру скульптуры - статуэтак, што выявілі дзеячаў культуры, навукі у іх паўсядзённай творчай дзейнасці. Безумоўнае партрэтнае падабенства, натхнёнасць, непрыхаваная сімпатыя аўтара да сваіх мадэлей, цудоўная лепка твараў, дэталей адзення, атрыбутаў, аксесуараў,- вось што найбольш характэрна для пластыкі мастака. Адзін пералік увасобленых персон уражвае: І.Шышкін, В.Сурыкаў, В.Верашчагін, П.Чайкоўскі, А.Рубінштэйн, М.Горкі, Ф.Шаляпін, Д.Грыгаровіч, У.Салаўёў, І.Крамской, І.Рэпін, П.Трубяцкой, Д.Мамін-Сібірак, М.Савіна, І.Паўлаў - і ўсе з натуры! А яшчэ - шэраг жанравых кампазіцый: "Малады музыкант", "На арэлях", "Дон Кіхот і Санча Панса", "Юнак, які збіраецца купацца", "Насільшчык, што нясе на плячы забітага звера", "Стрэмка". А яшчэ - помнікі М.Гогалю ва ўкраінскай вёсцы Сарочынцы перад музеем пісьменніка, І.Айвазоўскаму ў Феадосіі, надмагільны помнік У.Стасаву, праекты помнікаў Д.Мендзялееву і Г.Пляханаву для Петраграда...
У савецкую ўладу мастак увайшоў арганічна, без усякіх праблем. З 1918-га па 1921-ы прафесар Гінцбург узначальваў скульптурны клас Дзяржаўных свабодных мастацкіх майстэрняў, потым два гады быў дэканам скульптуры ВХУТЕМАСа. Але ўласна творчасцю займаўся мала. Памёр 31 студзеня 1939 года ў Ленінградзе, а пахаваны ў некропалі майстроў мастацтва- Аляксандра-Неўскай лаўры. Пасля сябе пакінуў цудоўныя "Успаміны", дзе з душэўнай цеплынёй распавёў пра сваё дзяцінства і юнацтва ў Гродне і Вільні...