Untitled

https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
https://github.com/paarthneekhara/text-to-image


Phương pháp lập mô hình được gọi là 'mô hình khuếch tán'. Nó là quá trình chụp một hình ảnh, làm nhiễu nó đến mức mất kết hợp và sau đó sử dụng hình ảnh đó để huấn luyện mô hình 'tái tạo' hình ảnh. 

Midjourney (giống như một số ứng dụng tạo hình ảnh AI hiện tại khác) sử dụng tập dữ liệu có tên LAION (https://laion.ai/) , được một tổ chức phi lợi nhuận của Đức lấy từ web.

 


 





Midjourney lấy toàn bộ artstation làm tập huấn luyện vì những hình ảnh đó có xu hướng được từ khóa tốt.




Dùng Sentence-Transformers















Dùng HuggingFace Transformers















Mini Text to Image
https://github.com/paarthneekhara/text-to-image

Text To Image Synthesis Using Thought Vectors


Đây là một triển khai tensorflow thử nghiệm nhằm tổng hợp hình ảnh từ chú thích bằng cách sử dụng Skip Thought Vectors . Các hình ảnh được tổng hợp bằng Thuật toán GAN-CLS từ bài báo Tổng hợp chuyển văn bản thành hình ảnh đối nghịch . Việc triển khai này được xây dựng dựa trên DCGAN xuất sắc trong Tensorflow . Sau đây là kiến ​​trúc mô hình. Các thanh màu xanh tượng trưng cho Skip Thought Vectors cho chú thích.











Bộ dữ liệu
Sử dụng bộ dữ liệu flowers Dataset





Cách sử dụng
Xử lý dữ liệu : 
Trích xuất các vectơ bỏ qua suy nghĩ cho tập dữ liệu hoa bằng cách sử dụng:
python data_loader.py --data_set="flowers"

Training
Sử dụng python train.py --data_set="flowers"




Hình ảnh mẫu được tạo