Секретне місце знаходилось на залізничній станції Перловка у Казанському напрямку. Це було дачне містечко, де сіоністи, під виглядом студентів й абітурієнтів московських вишів, спільно орендували житло. В одну з таких комун поселили й Гілеля. Облаштувавшись на дачі, першочергово Каплінський вирушив на біржу праці – влаштовуватись на роботу. Вакансія для нього знайшлась дуже швидко, Гілель пішов працювати мастильником у залізничному депо. Робота складалась з того, щоб підливати в букси поїзда осьове мастило і проводити дрібний ремонт вагонів. Життя в Гдуді повністю відповідало ідеалам молодого сіоніста: отримуючи трудові навички, він віддавав гроші в спільну касу, а увесь вільний час молоді був присвячений посиленій підготовці до алії.

Через певний час Каплінському повідомили: Головний штаб «Гашомер Гацаір» організовує семінар для підготовки наставників-«мадріхів». Керівництво організації вирішило набрати групу найбільш здібних активістів і підготувати їх для роботи серед сіоністської молоді в містах і селах по всьому Радянському Союзу. Серед кандидатів, відібраних для навчання, були Гілель Каплінський, Ісраель Лізенберг, Михайло Глезер, Бенціон Гінзбург, а також ще одна дівчина, членкиня чи то організації «Гехалуц», чи то культурно-просвітницького руху «Тарбут». Треба зазначити, що груп було дві, Каплінський був серед вище згаданих.

Незабаром з-за кордону прибуло кілька партій книг на івриті, а також засоби на проведення семінару. Щодня до студентів курсів приїжджали викладачі, члени «Тарбуту». Семінар – так званий «ульпан» – очолив письменник Авраам Криворучко (Авраам Карів), що викладав іврит та єврейську літературу. Лектором з педагогіки був Йосеф-Лейб Цфасман, редактор сіоністської газети «Гехалуц» та автор популярних «халуціанських» пісень. Суспільствознавство та історію сіоністського руху викладав чоловік на прізвисько Борис, член Сіоністської трудової партії (СТП) – Цеірей Ціон. Читали молоді й світову літературу.

Каплінський, відпрацювавши зміну на залізниці, не відчував втоми і з насолодою слухав лекторів семінару. Він був захоплений літературою, тому можливість повчитись у справжніх письменників вважав дарунком долі. Він сам писав вірші на івриті, ідиші та російською мовою – деякі з його віршів згодом були опубліковані в Ерец-Ісраель в газеті руху робітничої молоді «Бе-маале». Бувало, на молодіжній вечірці або навіть під час роботи на будівництві Гілель раптом відходив у бік й щось швидко записував – так народжувався вірш. Авраам Карів та інші викладачі роздивились у хлопцеві талант, але дуже швидко вдячному студентові та прихильним вчителям довелось попрощатись назавжди.

Заняття були розраховані на рік, але завершились раніше через арешти серед членів нелегального «Гехалуца», що почались в січні 1931 року. Випуск прискорили, а слухачів, що завершили в лютому семінар, скерували на підпільну роботу в регіони. Це був перший і останній курс які організував ВААД «Тарбут».

Гілеля Каплінського скерували у Київ. Туди ж перекинули кілька інших шомерів, і серед них – Мойше Лемперта, активіста однієї з підмосковних комун. Разом з Лемпертом, дівчиною, на ім'я Маня Штрам, а також сіоністом, на ім'я Рафаїл, Гіля Каплінський накидав план підпільної роботи. Першочергово у Києві з'явився журнал російською мовою, де розміщувались новини з Палестини. Для замилювання очей Гіля удавав абсолютно аполітичного робітника, влаштувавшись на завод імені Лепсе.

Діяльність посланців «Гашомер Гацаір» продовжилась до осені 1931 року. Пізно увечері 10 листопада 1931 року в квартиру до Гілеля Каплінського на вулиці Басейній з'явились незвані гості з ОДПУ. Під час обшуку в сіоніста були знайдені випуски журналу, що видавала його група підпільно, а також «шомерівські» журнали з Москви.

Під час першого допиту Гілель Йосифович визнав, що був активістом сіоністської організації «Націонал-трудовий Гашомер Гацаір», але будь-які свідчення про свою діяльність давати відмовився. Знайдені у нього самвидавчі журнали він назвав плодом свого захоплення літературою і громадськими питаннями. «Ви кустар-одинак?», – зі знущанням у голосі спитав уповноважений ОДПУ, єврей Агліцький, цілковито роздратувавшись. «Називайте як хочете, але діяв я один».

Тоді Агліцький повідомив Гілелю, що його товариші зараз в руках ОДПУ. «Хто такий Красноштейн?», – допитливо поглянув депеушник на юнака. Гілель Каплінський повідомив, що Красноштейн був його однодумцем, з яким вони часто зустрічались. «А звідки ви його знаєте?» – продовжував розпитувати Агліцький – «Познайомився з ним в бібліотеці». Каплінський, що намагався приховати від слідства особистість соратника, не знав, що агентура давно донесла начальству: під іменем Абрама Мойсейовича Красноштейна в Києві переховувався один з найактивніших сіоністів, Мойше Лемперт.

«А хто такі Шильман і Рахіль Глейзер?», – Агліцький назвав Каплінському заарештованих товаришок. «Познайомив мене з цими дівчатами Красноштейн. Нічого про їх політичні переконання мені не відомо», – продовжував заперечувати Каплінський.

Через місяць сіоністку Рахіль Глейзер, доньку рабина з містечка Купель, звільнили: так і не змогли знайти доказів її антирадянської діяльності. Каплінського та інших продовжували допитувати. В решті решт, під час однієї з зустрічей у кабінеті Агліцького, Каплінський запропонував: «Щоб винести вирок, у вас і так достатньо даних. А те, що я вважаю непотрібним, я вам не розповім навіть якщо ви мене розстріляєте!». І дійсно, допити різко припинились. Тільки через пів року, 19 лютого 1932 року, Гілелю Каплінському оголосили, що Особлива рада при Колегії ОДПУ засудила його за статтею 54-10 КК УРСР до трьох років заслання до Східного Сибіру.

Відбувати політичне заслання йому довелось у Єнісейську Красноярського краю. Туди зазвичай прибували заслані, що належали до різноманітних партій та угрупувань, що існували ще до революції. У засланні Гілель Каплінський швидко подружився з двома іншими сіоністами: Менделем Бейліним та Шмуелем-Йосефом Лябоком. Вони з друзями займались інтелектуальним саморозвитком, Гілель прищеплював їм свою любов до поезії. Сам він ще й активно займався спортом. Всупереч фізичним обмеженням – наслідок перенесеної в дитинстві важкої хвороби костей – Каплінський захоплювався плаванням та гімнастикою.

Опікувались молодими сіоністами також їх старші товариші, котрих у Єнісейську були десятки. Серед них Гілелю Каплінському особливо запам'ятався Залман Локшин, що приїхав із Польщі, щоб поновити роботу старих осередків лівої сіоністської партії Дрор. Досвідчений борець і відмінний теоретик, Локшин читав лекції на теми важливих питань сучасності, захоплююче розповідав молоді про будівництво єврейської Палестини.

У єнісейському засланні Каплінський відбув весь термін. Гілі неймовірно пощастило: звільнився прямо напередодні вбивства Кірова. Ще б пару тижнів, так би і залишився в Єнісейську, а можливо, потрапив би ще куди-небудь далі. З Єнісейська він вирушив до Курська, куди до того часу переїхала з Миргорода його сім'я. Курськ був місцем тяжіння для багатьох сіоністів, що не мали права жити у великих містах та в столицях.

У червні 1935 року в Курськ приїхав Мендель Бейлін, друг Гілеля по Єнісейську, що також звільнився із заслання. Товариші спільно орендували квартиру, а дуже скоро до них приєднався ще один приятель – знавець івриту та колишній засланий сіоніст Моше Виноградський. Він служив у якійсь великій фінансовій конторі, а колишні «шомери», Гіля та Мендель, вірні ідеалам «єврейської праці», влаштувались на будівництво.

Серед сіоністів, що жили у Курську був Шабтай Володарський, визначний діяч ліво-сіоністськї партії ЦС, а також одружена пара, Нахум Бергер та Малка Есріг, з якими Гілель постійно спілкувався. Мови про продовження організованої сіоністської діяльності бути не могло, однак Каплінський просто не міг сидіти, покірно чекаючи вирішення своєї долі. Політичний Червоний Хрест, єдина правозахисна організація в СРСР – туди неодноразово звертався Каплінський з клопотанням на виїзд у Палестину – виявився в його випадку безсилим. Він намагався підтримувати зв'язок з колишніми соратниками. Одного разу Каплінський вирушив у Чернігів до Авраама Гальперіна, колишнього члена Гдуда, який повернувся із заслання та намагався відновити сіоністську мережу у єврейських містечках України.