Секретное место находилось на железнодорожной станции Перловка по Казанскому направлению. Это был дачный поселок, где сионисты, под видом студентов и абитуриентов московских вузов, совместно снимали квартиры. В одну из таких коммун определили и Гилеля. Обосновавшись на даче, первым делом Каплинский отправился на биржу труда – устраиваться на работу. В скором времени для него нашлась вакансия смазчика в железнодорожном депо. Работа состояла в том, чтобы подливать в буксы поезда осевое масло и проводить мелкий ремонт вагонов. Жизнь в Гдуде полностью соответствовала идеалам молодого сиониста: получая трудовые навыки, он отдавал деньги в общую кассу, а весь досуг ребят был посвящен усиленной подготовке к алие.

Через некоторое время Каплинскому сообщили: Главный штаб «Гашомер Гацаир» организует семинар для подготовки вожатых-«мадрихов». Руководство организации решило набрать группу наиболее способных активистов и подготовить их для работы среди сионистской молодежи в городах и поселках по всему Советскому Союзу. Среди кандидатов, отобранных для обучения, были Гилель Каплинский, Исраэль Лизенберг, Михаил Глезер, Бенцион Гинзбург, а также еще одна девушка, член то ли организации «Гехалуц», то ли культурно-просветительского движения «Тарбут». Надо сказать, что групп было две, Каплинский был среди выше перечисленных.

В скором времени из-за границы прибыло несколько партий книг на иврите, а также средства на проведение семинара. Каждый день к студентам курсов приезжали преподаватели, члены «Тарбута». Семинар – так называемый «ульпан» – возглавил писатель Авраам Криворучко (Авраам Карив), преподававший иврит и еврейскую литературу. Лектором по педагогике был Йосеф-Лейб Цфасман, редактор сионистской газеты «Гехалуц» и автор популярных «халуцианских» песен. Обществознание и историю сионистского движения преподавал человек по кличке Борис, член Сионистской трудовой партии (СТП) – Цеирей Цион. Читали ребятам и мировую литературу.

Каплинский, отработавший смену на железной дороге, не чувствовал усталости и с наслаждением внимал лекторам семинара. Он был помешан на литературе, поэтому возможность поучиться у настоящих писателей считал подарком судьбы. Он сам писал стихи на иврите, идише и русском языке – некоторые из его стихотворений впоследствии были опубликованы в Эрец-Исраэль в газете движения рабочей молодежи «Бе-маале». Бывало, на молодежной вечеринке или даже во время работы на стройке Гилель вдруг отходил в сторону и что-то быстро записывал – так рождалось стихотворение. Авраам Карив и другие преподаватели рассмотрели в молодом парне талант, но в скором времени благодарному студенту и благосклонным учителям пришлось распрощаться навсегда.

Занятия были рассчитаны на год, но закончились раньше из-за арестов среди членов нелегального «Гехалуца», которые начались в январе 1931 года. Выпуск ускорили, а слушателей, окончивших в феврале семинар, направили на подпольную работу в регионы. Это был первый и последний курс которые организовал ВААД «Тарбут».

Гилеля Каплинского отправили в Киев. Туда же перебросили несколько других шомеров, и среди них – Мойше Лемперта, активиста одной из подмосковных коммун. Вместе с Лемпертом, девушкой по имени Маня Штрам, а также сионистом по имени Рафаил, Гиля Каплинский набросал план подпольной работы. Первым делом в Киеве появился журнал на русском языке, где размещались новости из Палестины. Для отвода глаз Гиля изображал из себя совершенно аполитичного рабочего, устроившись на завод имени Лепсе.

Деятельность посланников «Гашомер Гацаир» продолжалась до осени 1931 года. Поздно вечером 10 ноября 1931 года в квартиру к Гилелю Каплинскому на улице Бассейной явились незваные гости из ОГПУ. Во время обыска у сиониста были найдены выпуски издаваемого его группой подпольного журнала, а также «шомеровские» журналы из Москвы.

На первом допросе Гилель Иосифович признал, что являлся активистом сионистской организации «Национал-трудовой Гашомер Гацаир», но какие-либо показания о своей деятельности давать отказался. Найденные у него самиздатовские журналы он назвал плодом своего увлечения литературой и общественными вопросами. «Вы кустарь-одиночка?», – c издевкой в голосе спросил уполномоченный ОГПУ, еврей Аглицкий, окончательно вышедший из себя. «Называйте как хотите, но действовал я в одиночку».

Тогда Аглицкий сообщил Гилелю, что его товарищи находятся в руках ОГПУ. «Кто такой Красноштейн?», – вопросительно посмотрел гэпэушник на парня. Гилель Каплинский сообщил, что Красноштейн являлся его единомышленником, с которым он часто встречался. «А откуда вы его знаете?» – продолжал расспрашивать Аглицкий – «Познакомился с ним в библиотеке». Каплинский, пытавшийся скрыть от следствия личность соратника, не знал, что агентура давно доложила начальству: под именем Абрама Моисеевича Красноштейна в Киеве скрывался один из активнейших сионистов, Мойше Лемперт.

«А кто такие Шильман и Рахиль Глейзер?», – Аглицкий назвал Каплинскому арестованных соратниц. «Познакомил меня с этими девушками Красноштейн. Ничего об их политических убеждениях мне не известно», – продолжал запираться Каплинский.

Через месяц сионистку Рахиль Глейзер, дочь раввина из местечка Купель, освободили: так и не смогли найти доказательств ее антисоветской деятельности. Каплинского и других продолжали допрашивать. В конце концов, во время одной из встреч в кабинете Аглицкого, Каплинский предложил: «Чтобы вынести приговор, у вас и так достаточно данных. А то, что я считаю ненужным, я вам не расскажу даже если вы меня расстреляете!». И действительно, допросы резко прекратились. Только через полгода, 19 февраля 1932 года, Гилелю Каплинскому объявили, что Особое совещание при Коллегии ОГПУ приговорило его по статье 54-10 УК УССР к трем годам высылки в Восточную Сибирь.

Отбывать политическую ссылку ему пришлось в Енисейске Красноярского края. Туда обычно прибывали ссыльные, принадлежавшие к различным партиям и группировкам, существовавшим еще до революции. В ссылке Гилель Каплинский быстро сдружился с двумя другими сионистами: Менделем Бейлиным и Шмуэлем-Йосефом Лябоком. Они с друзьями занимались интеллектуальным саморазвитием, Гилель прививал им свою любовь к поэзии. Сам он еще и активно налегал на занятия спортом. Вопреки физическим ограничениям – следствие перенесенной в детстве тяжелой болезни костей – Каплинский увлекался плаванием и гимнастикой.

Опекали молодых сионистов и их старшие товарищи, которых в Енисейске были десятки. Среди них Гилелю Каплинскому особенно запомнился Залман Локшин, который приехавший из Польши, чтобы возобновить работу старых ячеек левой сионистской партии Дрор. Умудренный опытом борец и отличный теоретик, Локшин читал лекции на злобу дня, увлекательно рассказывая молодежи про строительство еврейской Палестины.

В енисейской ссылке Каплинский пробыл весь срок. Гиле неслыханно повезло: освободился прямо накануне убийства Кирова. Еще бы пару недель, так и остался бы в Енисейске, а может быть, попал бы ещё куда-нибудь подальше. Из Енисейска он отправился в Курск, куда к тому времени переехала из Миргорода его семья. Курск являлся местом притяжения для многих сионистов, не имевших права жить в больших городах и в столицах.

В июне 1935 года в Курск приехал Мендель Бейлин, друг Гилеля по Енисейску, также освободившийся из ссылки. Товарищи совместно сняли квартиру, а вскоре к ним присоединился еще один приятель – знаток иврита и бывший ссыльный сионист Моше Виноградский. Он служил в какой-то крупной финансовой конторе, а бывшие «шомеры», Гиля и Мендель, верные идеалам «еврейского труда», устроились на стройку.

Среди живших в Курске сионистов был Шабтай Володарский, видный деятель лево-сионистской партии ЦС, а также женатая пара, Нахум Бергер и Малка Эсриг, с которыми Гилель постоянно общался. Речи о продолжении организованной сионистской деятельности быть не могло, однако Каплинский просто не мог сидеть, покорно ожидая решения своей судьбы. Политический Красный Крест, единственная правозащитная организация в СССР – туда неоднократно обращался Каплинский с ходатайством на выезд в Палестину – оказался в его случае бессильным. Он пытался поддерживать связь с бывшими соратниками. Однажды Каплинский отправился в Чернигов к Аврааму Гальперину, бывшему члену Гдуда, который вернулся из ссылки и пытался возобновить сионистскую сеть в еврейских местечках Украины.