Собрал Heritrix 3 через GitLab CI
by aary
Posted on пятница мая 15, 2026 at 01:08AM in ЖЖ
Немало времени на это потратил. И на перенастройку самого Heritrix3.
Оказалось, что нельзя пытаться заблокировать скачивание robots.txt,
потому что это обязательный ритуал у Heritrix3, он их с каждого сайта качает первыми.
В этот раз HEAD/master (3.14.1+), а не 3.10 как в прошлый. Впрочем, разница незаметна.
Теперь контейнеры делаются через Dockerfile + docker-compose.yml
Предыдущая запись была 9 апреля, эта 15 мая. Получается, что больше месяца времени на это потратил.
Tags: gitlab