Написать регулярный тест работоспособности пауков

[stroykova]

Например раз в неделю запускать все пауки и проверять, что статьи собираются.

[iggisv9t]

Можно для начала написать скрипт для разовой проверки. Сейчас пауков всё равно никто не запускает. Можно проверять работоспособность после изменений.

[pacifikus]

Можно для начала написать скрипт для разовой проверки. Сейчас пауков всё равно никто не запускает. Можно проверять работоспособность после изменений.

Можно уточнить: скрипт для запуска команды "scrapy crawl ..." и проверки, что какие-то статьи собрались, или в pytest запускать через что-то вроде CrawlerProcess с ассертами?

[iggisv9t]

@pacifikus оба варианта лучше, чем сейчас, так что на своё усмотрение. Я за то, чтобы обойтись минимальными изменениями/добавлениями в коде.

[pacifikus]

@iggisv9t а что если добавить запуск тестов в actions?

[iggisv9t]

@pacifikus можно добавить, но могут быть нюансы. Кровлеры -- это всегда на грани добра и зла, и если мы тут будем мощностями гитхаба дёргать сайты, то не может ли нам за это от гитхаба прилететь?

[pacifikus]

@pacifikus можно добавить, но могут быть нюансы. Кровлеры -- это всегда на грани добра и зла, и если мы тут будем мощностями гитхаба дёргать сайты, то не может ли нам за это от гитхаба прилететь?

Хм, в целом по количеству запросов - там немного, но, наверно, лучше не рисковать. Можно тогда просто в readme добавить, что есть тест и как его запускать у себя