Dain app ошибка памяти

Гайд на основные Функции DAIN-APP V0.36 от 11.03.2020

Само приложение: https://grisk.itch.io/dain-app

ГАЙД ОТ ЛАМЕРА-ДЛЯ ЛАМЕРОВ! ГЛУБОКОГО ВНИКАНИЯ И РОСПИСИ ЗАТРАТ ПАМЯТИ ТУТ НЕТ!

Программа использует память видеокарты. Нужна Куда(загугли).

ОКНО ДИАЛОГА

юзер-фнедли интерфейс для настройки

1) 

1.1)Input Video- Процессировать видео

1.2)Input PNG Sequense- Процессировать выделенную последовательность изображении.

1.3)Resume render- Продолжить прерванный ранее рендер.

2)

2.1)Inpute file(s)- Выбрать нужный фаил.

2.2)Export as…- Экспортировать как Mp4, GIF, WebM, APNG.

2.3)Output Folder- Указать место, в котором программа создаст 3 папки: оригинальные кадры, интерполированные кадры, результат.

3)Mode.

3.1)Mode 1: all( frames treated the same)- Все, новые и старые, кадры будут использованы в конечном результате. Дефолтная настройка. Средняя ресурсоёмкость. Не меняет скорость результата.

3.2)Mode 2: Remove duplicate frames( may alter animation speed)- Не будут сгенерированы одинаковые кадры. Скорость анимации может изменится. Самая маленькая ресурсоёмкость.

3.3)Mode 3: Adaptive record timestamps them remove duplicate frames.- Каждый кадр будет на своём месте во времени(timespamp), а потом программа попробует угадать сколько кадров между ними нужно создать. Наименее полезен и стабилен. Высокая ресурсоёмкость. Не смотря на описание, скорость результата часто меняется.

3.4)Mode 4: Static record timestamps them remove duplicate frames.- Мод 3, но программа создаст только указанное количество кадров. Не всегда полезен. Средняя ресурсоёмкость. Не меняет скорость результата.

4) Depth Awareness Mode.

4.1)Real life or 3D- Для видео с четкой глубиной.

Сartoon or Anime- Для анимации и аниме без глубины, или её практическим отсутствием.

4.2)Alpha transparency- Будут ли сгенерированые кадры иметь полупрозрачные переходные части.

No alpha- функция отключена

Fast alpha- Менее ресурсоёмкий вариант, результат будет немного хуже.

Fast alpha- Более ресурсоёмкий вариант, наиболее качественный результат.

4.3) Interpolation Algorithm. 

Default- Стандартные х2, х4 и х8 функции интерполяции. Меньшие затраты памяти, медленнее более чистые результаты.

Experimental- Эксперементальные функции интерполяции. Быстрее, больший расход памяти, генерирует больше артефактов. Не доступна (4.2).

5)

5.1) Input FPS- Количество кадров в секунду орицинального файлафаилов.

5.2) Interpolate 2x/4x/8x- Увеличить изначальное кадры в такое количество раз. 

5.3) Output FPS- Расчетное количество кадров конечного результата, всегда округляется до целых после конца рендера.

6) Split frames into sections- Использовать, если не хватает памяти. При рендере программа будет разделять каждый кадр на части с указанными размерами(6.1) и (6.2). Снижает расход ресурсов, но сильно замедляет процесс.

6.1) Section size- Размер секции. Т.е. Если указать 500, то разделение будет идти на секции 500х500 пикселей, при этом создаст четыре версии в зависимости от (6.2).

6.2) Section Padding- Переменная, которая определяет четые вариации (6.1). Т.е, при указании (6.1)=500, и (6.2)=200, будут такие четыре варианта: 500х500, 200х500, 500х200, 200х200. Такими секциями программа будет обрабатывать кадры, начиная с максимального количества больших секции, и постепенно уменьшая их размер.

7) 

7.1) Downscale video- Уменьшает размер результата. Указывать в виде ХнаХ(500х500) пикселей.

7.2) Don’t interpolate scene changes- При обнаружении резкой смены изображения(перехода сцены), программа не будет интерполировать переход между ними.

8.1) Clean interpolated folder before starting-  Программа очистит папку с интерполированными кадрами при старте следующего рендера с теми же (2.3). Я постоянно использую при работе на трудной гифкой, которую нужно переделывать не один раз.

8.2) Limit color palette to use only original colors- При рендере программа будет использовать только оригинальную палитру цветов файла. Анимации могу использовать (4.2) только с этой функцией. Я включаю всегда. 

8.3) Create a output with audio- Результат сохранит изначальное аудио. Работает нормально только с (3.1) и (3.4). Не стабильная эксперементальная функция.

8.4) Perfect loop animation- Анимация будет идеально закольцована. Использовать, если оригинал это подразумевает.

9) If FPS exceed this value. Create another version with this FPS.- Если ФПС перейдет это значение(9.1), создать версию с этим [ФПС](9.1).

9.1) [FPS]= — переменная, определяющая предел ФПС.

9.2) (If FPS exceeds [FPS]) Create a [FPS] version of movie- Если был превышен лимит (9.1), то сгенерировать дополнительную версию с указанным ФПС(9.1) в виде видео.

9.2) (If FPS exceeds [FPS]) Interpolate down to [FPS] [Conf 1: Smooth]-  Если был превышен лимит (9.1), то сгенерировать версию с указанным ФПС(9.1). Будет задействована первая конфигурация. Результат будет более плавным.

9.3) (If FPS exceeds [FPS]) Interpolate down to [FPS] [Conf 2: Sharp]- Если был превышен лимит (9.1), то сгенерировать версию с указанным ФПС(9.1). Будет задействована Вторая конфигурация. Результат будет более резким.

10)

10.1)Preform all steps: Render- полностью выполнит процесс рендера.

10.2)Step 1: Split source video into frames- Только разделит фаил на кадры, создаст папку (2.3), и поместит их туда.

10.3)Step 2: Feed sorce frames to DAIN- Начинает процесс интерполяции оригинальных кадров и генерацию новых.

10.4)Step 3: Convert DAIN frames to video- Сшивание сгенерированных кадров в (2.2).

ОКНО ПРОЦЕССА

Говорить тут особо неочем: подробности процесса, количество готовых кадров.

Ну, вот вроде и все. Учтите, что универсальных настроек не существует, и почти всегда надо будет шаманить для лучшего результата.

Update — vedroboev resolved this issue with two pieces of advice:

• With my NVidia GTX 1660 Ti (with Max Q if that matters) card, I had to use the https://github.com/basujindal/stable-diffusion repo.

  • Remember to call the optimized python script python optimizedSD/optimized_txt2img.py instead of standard scripts/txt2img.

• If you’re getting green squares, add —precision full to the command line.

This command rendered 5 good images on my machine with the NVidia GeForce 1660Ti card using the basujindal repo:

python optimizedSD/optimized_txt2img.py —prompt «a drawing of a cat on a log» —n_iter 5 —n_samples 1 —precision full

======

Original:

Getting the CUDA out of memory error.

(RuntimeError: CUDA out of memory. Tried to allocate 30.00 MiB (GPU 0; 6.00 GiB total capacity; 5.16 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF)

Things I’ve tried:

• Used repo recommended in https://github.com/CompVis/stable-diffusion/issues/39 to use https://github.com/basujindal/stable-diffusion — same result.

• Dialed the image —H and —W down to 128 and even 64 — same error.

Questions:

1. I have two GPUs — a intel UHD and a GeForceTI 1660 with 6GB VRAM. The error here implies PyTorch has already reserved 5.3GB and is requesting 30 MB more, which there should be sufficient capacity for (6.0 — 5.3 = .7GB, 700 MB).

2. Searched documentation for «See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF» but that seems to be for custom python scripts and I don’t see how to add that to txt2img command. I don’t see where to specify max_split_size_mb or PYTOURH_CUDA_ALLOC_CONF.

3. I think this is using the GeForce but don’t see how to specify this in the txt2img command. Can/should I specify a GPU? Do I need to/How do I kill any programs that might be reserving GPU memory, though it implies that PyTorch is reserving most of it?