Diablo 2 Upscaled (využití neuronových sítí pro vyšší rozlišení textur)

[ZOMB]

Zdravím všechny diablisty

Trochu jsem si hrál s neuronovými sítěmi a různými předtrénovanými modely.
Zajímalo mě jak si poradí s texturami Diabla - konkrétně monster Diablo a Andariel.
Zde jsou výsledky - co na ně říkáte?

Výsledky si přibližte, pod každým uvidíte, který konkrétní model byl použit.
Který obraz se vám líbí nejvíc?
Mimochodem originál použitý ve hře je ten vlevo dole. (je u něj napsané results/original)

Pro zájemce - umělé neuronové sítě se pro laiky dají zařadit do technik umělé inteligence, řadí do technik strojového učení. Takovéto techniky se používají všude tam, kde efektivní algoritmy neznáme - obvykle v rozpoznávání zvuku, obrazu apod. Zatímco snížení kvality obrazu je výpočetně velmi jednoduchý problém, opačně to už neplatí. Je to podobné jako u černobílých fotografií - udělat z barevné černobílou je velmi jednoduché, ale z černobílé barevnou téměř nemožné.
Umělé neuronové sítě mají své matematické jádro, inspirované biologií. Aby se mohly používat, je nutné je vytrénovat k tomu, co po nich chceme - v tomto případě "upscale" obrázků (zvětšení a zachovat kvalitu).

Já jsme použil jádro projektu ESRGAN a modely předtrénované komunitou, která se zabývá upscalováním starších her.

Kromě obrázků se dá samozřejmě upscalovat i video, čehož už fanoušci pro Diablo 2 využili:
https://youtu.be/9hGzPRYZ-gc

Koho by zajímalo matematické jádro neuronových sítí:
https://www.youtube.com/watch?v=aircAruvnKk


Pomocí těchto technik by se teoreticky dal vytvořit remaster Diabla 2 přímo komunitou (formou modu), nicméně pro správné fungování je nutný zásah do kódu hry samotné, který bohužel k dispozici nemáme, takže by to nebylo úplně jednoduché.

Co na výsledky říkáte? Chtěli byste vidět, jak by vypadaly upscalované např. lokace?

[Kisuvka]

Tak je to velmi zajímavé, ale mám problém vybrat jen jeden obrázek, který by mi vyhovoval. Mě by se nejvíc líbila vážená kombinace většiny z nich, každý má nějakou přednost a slabinu.

Podle mě je problém v tom, že zdroj nemá dostatek detailů a tudíž si je můžeš tak maximálně vycucat z prstu, ale nikdy to nebude ono. Z mého pohledu by remaster měl smysl jedině s novými texturami ve vyšším rozlišení přímo od kreslíře, tak aby byl zachován "vzhled", jen by stoupla kvalita.

[ZOMB]

Podle mě je problém v tom, že zdroj nemá dostatek detailů a tudíž si je můžeš tak maximálně vycucat z prstu, ale nikdy to nebude ono.

Chápeš to naprosto přesně
Výsledek tímhle postupem nikdy nebude na 100% správný, ale přesto jsou výsledky zajímavé.
Nějaký uživatel zkoušel to samé s chatrčí v 1. aktu - výsledek vypadá hodně dobře.
Samozřejmě mít něco od kreslíře by bylo ideální, ale kdoví, jestli se někdy něčeho takového vůbec dočkáme...

Své výsledky jsem postnul i na reddit, kde byl docela zájem vidět celou hru "upscalovanou".

Aktuálně jsem napsal na Phrozen Keep (světová centrála pro D2 moddery), kde jsem představil svůj nápad upscalovat hru na FullHD rozlišení, přičemž hra by nebyla "vyzoomovaná" (jako to známe z dosavadních HD módů), ale opravdu by všechny textury byly nahrazeny kvalitnějšími a zachovány všechny poměry velikostí, jako je tomu v rozlišení 800x600.

Takže uvidím, zda to bude opravdu možné. Pokud by se totiž na žádný větší problém nenarazilo (např. s vnitřními formáty obrázků v Diablu apod.), dal by se celý proces relativně lehce automatizovat, takže mod by mohl být relativně brzy hotový.

[Kisuvka]

Jo, tak ta chatrč je udělaná decentně a vypadá to dobře

Jak jsem napsal, myslím, že slušnej výsledek by se dal docílit vhodnou kombinací Tvých obrázků, ale nemám představu, jak to udělat.

myslím, že kreslíř je nereálnej, musel by to být někdo s citem, kdo dokáže nasát ten styl a pak tam právě podle toho vhodně doplnit ty detaily. A to si myslím, že by byl challenge i pro původního kreslíře.

Pokud ta automatizace půjde, tak by to bylo supr, protože pak by se daly i rychle zkoušet různé algoritmy na převod.

Jen mě ještě napadlo takové zamyšlení: jak to změní atmosféru té hry, když to bude "ostré"?

[witekcz]

Tohle jsem viděl na Redditu, to je tvoje práce?

[ZOMB]

Tohle jsem viděl na Redditu, to je tvoje práce?

Přesně tak

Jen mě ještě napadlo takové zamyšlení: jak to změní atmosféru té hry, když to bude "ostré"?

To mě taky docela zajímá. Jelikož něco takového implementovat (jako mod) nebude vůbec jednoduché, chtěl bych nejprve udělat jakési demo toho, jak by hra mohla vypadat. Do konce ledna bych to měl stihnout - jakousi miniaturní verzi Diabla kterou by si kdokoliv mohl spustit v prohlížeči a která bude mít kompletně nové textury.

[Kisuvka]

Tak to jsem zvědavý držím palce

[ZOMB]

Update:

Upscaloval jsem Rogue Encampment, porovnání můžete vidět zde:
https://imgur.com/a/v3MjpQA

Zároveň jsem na zkoušku upscaloval i některé animace s několika různými modely (je to webová aplikace, celkem 10MB textur, pár sekund se vám to asi bude načítat):
https://quiet-springs-45295.herokuapp.com

Animace jsou zvětšeny dvakrát (tj. celkově 4x větší plocha), jsou tak velké jak budou velké ve hře.
Který model se vám líbí nejvíc?
Z ostatních reakcí i mého názoru bude pro animace asi nejlepší model "fartface".

V následujících dnech budu pokračovat na vývoji webové aplikace, jakéhosi D2 prototypu, dema, jednoduché hry, která bude mít do funkcionality D2 daleko, ale co se týče vzhledu, budou velmi podobné, ale má aplikace bude ve fullHD rozlišení.

[Kisuvka]

Jo, za mě rozhodně fartface

[ZOMB]

Na původně sdíleném odkazu už najdete hratelné "demo" - https://quiet-springs-45295.herokuapp.com
Je to z pohledu funcionalit hodně osekané, ale získáte zhruba pocit, jak by takový remaster mohl vypadat (pokud by byla použitá tato technika upscalování textur).
Jen poznámka: nejdřív se stahuje cca 55 MB dat, takže pokud máte omezená data, bacha na to, je tam loading screen, po načtení vás do přemístí rovnou do hry.
Když zajdete za nějakým obchodníkem a kliknete na něj, zobrazí se vám inventáře.

Co na to říkáte? Hráli byste takový remaster, kdyby byl k dispozici podobným způsobem jako Plugy?

[Dark_Deamon]

Vypadá to moc hezky, jen pohyb té postavy je divnej. Jako kdyby se vznášela a nechodila po terénu.

[ZOMB]

DD: Nevím proč, ale ve firefoxu je ta chůze nějaká zpomalená, prohlížeče postavené na chromiu (chrome, opera, vivaldi...) tenhle problém nemají. Ale jinak je pravda, že je těžké srovnat rychlost pohybu postavy a animace.

[Dark_Deamon]

Já na to čučel přes Operu.