07 June 2023

Студент придумал модель для Stable Diffusion, которая генерирует изображения с «зашитыми» в них QR-кодами

Студент придумал модель для Stable Diffusion, которая генерирует изображения с «зашитыми» в них QR-кодами
  • О проекте рассказал в своём блоге выпускник Китайского университета связи под ником ciaochaos. По его словам, несколько лет назад он со своим одногруппником придумал генератор «красивых QR-кодов» — QRBFT.
  • Проект в итоге «заглох», но ciaochaos решил попробовать возродить идею: только взять изображение, сгенерированное нейросетью, и наложить на него параметры для считывания QR-кода.
  • Как пишет ciaochaos, идею «зашить» QR-код в красивую картинку он вынашивал давно, но раньше для этого не было подходящих инструментов. Они появились сейчас, когда стали популярны нейросети для генерации изображений.
  • Чтобы создать модель генерации QR-кодов, он использовал Stable Diffusion. Он тренировал модель для расширения к нейросети — ControlNet. С этим ему помогали несколько студентов и преподаватели из университета.

Процесс обучения для управления светотенью 

  • После обучения тестовой модели ciaochaos использовал разные комбинации chekpoint и LoRa (второстепенные модели для точной настройки параметров генерации), чтобы получить изображения с QR-кодами.
     
  • Подробнее о процессе обучения ciaochaos рассказывает на своём сайте, там же он в ближайшее время обещает выложить больше информации о технических параметрах и саму модель для генерации QR-кодов.
Сгенерированные изображения с QR-кодами

Все QR-коды на изображении ведут на сайт https://qrbtf.com — генератор QR-кодов