dvc

2026-08-22 19:10:11 +04:00
parent ebd76275a1
commit 597f4030a7
30 changed files with 877 additions and 1 deletions
@@ -0,0 +1 @@
+/patch-X
@@ -0,0 +1,6 @@
+outs:
+- md5: 012ce72d8dfdf089b20a28f6e6158b58.dir
+  size: 1195310
+  nfiles: 4
+  hash: md5
+  path: patch-X
@@ -0,0 +1,14 @@
+/patch-ruRU-X
+/patch-ruRU-Y
+/backup-ruRU
+/patch-ruRU-6
+/patch-ruRU-A
+/patch-ruRU-B
+/patch-ruRU-E
+/patch-ruRU-H
+/patch-ruRU-I
+/patch-ruRU-M
+/patch-ruRU-S
+/patch-ruRU-T
+/patch-ruRU-U
+/patch-ruRU-W
@@ -0,0 +1,6 @@
+outs:
+- md5: b120587dfcd255f78392ca52705a00ff.dir
+  size: 38876467
+  nfiles: 161
+  hash: md5
+  path: backup-ruRU
@@ -0,0 +1,6 @@
+outs:
+- md5: 9ca2ee746d80e8a0c951c5ef476ae654.dir
+  size: 1064210
+  nfiles: 3
+  hash: md5
+  path: patch-ruRU-6
@@ -0,0 +1,6 @@
+outs:
+- md5: 97232ae859eaa1a16b137efd1a2e9122.dir
+  size: 2748988973
+  nfiles: 8817
+  hash: md5
+  path: patch-ruRU-A
@@ -0,0 +1,6 @@
+outs:
+- md5: bb686aebf7c9cae2c02433abde9a9f19.dir
+  size: 771051083
+  nfiles: 2911
+  hash: md5
+  path: patch-ruRU-B
@@ -0,0 +1,6 @@
+outs:
+- md5: d6b2fe0e3f23c47dc944ca4a8f82d97a.dir
+  size: 9275755440
+  nfiles: 21977
+  hash: md5
+  path: patch-ruRU-E
@@ -0,0 +1,6 @@
+outs:
+- md5: 5e95536d2c6f6ff792f05b800105bedc.dir
+  size: 3727395837
+  nfiles: 40296
+  hash: md5
+  path: patch-ruRU-H
@@ -0,0 +1,6 @@
+outs:
+- md5: 5db07768b0814c970d84a99b6072fd9f.dir
+  size: 31453961
+  nfiles: 186
+  hash: md5
+  path: patch-ruRU-I
@@ -0,0 +1,6 @@
+outs:
+- md5: e927ae98c9971f378a82feb3299fdcb8.dir
+  size: 69521651
+  nfiles: 1552
+  hash: md5
+  path: patch-ruRU-M
@@ -0,0 +1,6 @@
+outs:
+- md5: 449383bbe05ebebb6bad2c37da7793c4.dir
+  size: 142167464
+  nfiles: 1751
+  hash: md5
+  path: patch-ruRU-S
@@ -0,0 +1,6 @@
+outs:
+- md5: fc19500b5ce0fd312a415a3118afd58d.dir
+  size: 656858260
+  nfiles: 1810
+  hash: md5
+  path: patch-ruRU-T
@@ -0,0 +1,6 @@
+outs:
+- md5: 783909a6c2ebed5d4f43516fe1ea68bb.dir
+  size: 460642379
+  nfiles: 1837
+  hash: md5
+  path: patch-ruRU-U
@@ -0,0 +1,6 @@
+outs:
+- md5: e2a1448eb0e443797acd577fc4b67249.dir
+  size: 44597910
+  nfiles: 484
+  hash: md5
+  path: patch-ruRU-W
@@ -0,0 +1,6 @@
+outs:
+- md5: 3d322d290959d1ead612f3b76860a1ea.dir
+  size: 3984134962
+  nfiles: 29495
+  hash: md5
+  path: patch-ruRU-X
@@ -0,0 +1,6 @@
+outs:
+- md5: 42f3a8ac35674e33c0a4420c84cadcb8.dir
+  size: 11053212781
+  nfiles: 36191
+  hash: md5
+  path: patch-ruRU-Y
@@ -0,0 +1,66 @@
+# Графические MPQ-патчи
+
+В этой директории через DVC версионируется распакованное содержимое всех 15 патчей из
+`graphicsPatches` в `patch-layout.json`. Git хранит небольшие файлы `*.dvc`, а сами ресурсы —
+в S3 remote `customization`. Хэшированные пути в S3 являются внутренней адресацией DVC:
+исходное дерево с обычными именами восстанавливается командой `dvc pull`.
+
+## Первичная настройка
+
+```powershell
+py -m pip install -r requirements-dvc.txt
+Copy-Item .env.example .env # если локального .env ещё нет
+.\configure-dvc.ps1
+py -m dvc pull
+```
+
+Можно скачать один патч, передав его указатель явно:
+
+```powershell
+py -m dvc pull assets/graphics/Data/ruRU/patch-ruRU-X.dvc
+```
+
+Секреты записываются только в `.dvc/config.local`; этот файл исключён из Git. Вместо ключей
+из `.env` можно использовать AWS profile: `.\configure-dvc.ps1 -Profile moonwell`.
+
+## Изменение ресурсов
+
+DVC-кэш использует hardlink на NTFS. Перед ручным изменением дерева отвяжите его от кэша:
+
+```powershell
+py -m dvc unprotect assets/graphics/Data/ruRU/patch-ruRU-X
+# изменить, добавить или удалить файлы
+py -m dvc add assets/graphics/Data/ruRU/patch-ruRU-X
+py -m dvc push
+git add assets/graphics/Data/ruRU/patch-ruRU-X.dvc
+```
+
+Сначала выполняйте `dvc push`, затем коммитьте Git-указатель, чтобы коммит не ссылался на ещё
+не загруженные объекты.
+
+## Импорт MPQ
+
+`mpqextract` принимает встроенный `(listfile)` и любое количество внешних listfile. Он извлекает
+все известные пути, а блоки с неизвестными именами сохраняет в `__mpqmeta__/unresolved/`.
+Манифест `__mpqmeta__/unresolved.json` связывает каждый blob с MPQ-хэшами и индексом блока,
+поэтому содержимое архива не теряется даже при неполном listfile.
+
+```powershell
+cargo run --release --manifest-path tool/Cargo.toml --bin mpqextract -- `
+  'patch.mpq' 'assets/graphics/Data/ruRU/patch-ruRU-N' 'master-list.txt'
+```
+
+В `patch-ruRU-A`, `B`, `S`, `T`, `U` и `W` есть такие безымянные блоки. Для их безопасной
+пересборки нужен авторитетный listfile с исходными путями; пока он не найден, исходные MPQ в
+дистрибуционном S3 остаются каноническими архивами. `mpqpack` намеренно отказывается собирать
+дерево с `__mpqmeta__`, поскольку подмена путей хэшами изменила бы семантику патча.
+
+Полностью разрешённое дерево собирается так:
+
+```powershell
+cargo run --release --manifest-path tool/Cargo.toml --bin mpqpack -- `
+  'assets/graphics/Data/ruRU/patch-ruRU-X' 'build/graphics/patch-ruRU-X.MPQ'
+```
+
+Сводка исходных объектов, DVC-хэшей и количества разрешённых блоков находится в
+`assets/graphics/sources.json`.
@@ -0,0 +1,157 @@
+{
+  "sourcePrefix": "s3://warcraft-client/World of Warcraft/",
+  "patches": [
+    {
+      "archive": "Data/patch-X.MPQ",
+      "archiveBytes": 496584,
+      "dvcPointer": "assets/graphics/Data/patch-X.dvc",
+      "dvcMd5": "012ce72d8dfdf089b20a28f6e6158b58.dir",
+      "extractedBytes": 1195310,
+      "trackedFiles": 4,
+      "resolvedFiles": 4,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/backup-ruRU.MPQ",
+      "archiveBytes": 23981093,
+      "dvcPointer": "assets/graphics/Data/ruRU/backup-ruRU.dvc",
+      "dvcMd5": "b120587dfcd255f78392ca52705a00ff.dir",
+      "extractedBytes": 38876467,
+      "trackedFiles": 161,
+      "resolvedFiles": 161,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-6.MPQ",
+      "archiveBytes": 375062,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-6.dvc",
+      "dvcMd5": "9ca2ee746d80e8a0c951c5ef476ae654.dir",
+      "extractedBytes": 1064210,
+      "trackedFiles": 3,
+      "resolvedFiles": 3,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-A.mpq",
+      "archiveBytes": 1451338841,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-A.dvc",
+      "dvcMd5": "97232ae859eaa1a16b137efd1a2e9122.dir",
+      "extractedBytes": 2748988973,
+      "trackedFiles": 8817,
+      "resolvedFiles": 5649,
+      "unresolvedBlocks": 3167
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-B.mpq",
+      "archiveBytes": 384938550,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-B.dvc",
+      "dvcMd5": "bb686aebf7c9cae2c02433abde9a9f19.dir",
+      "extractedBytes": 771051083,
+      "trackedFiles": 2911,
+      "resolvedFiles": 1679,
+      "unresolvedBlocks": 1231
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-E.mpq",
+      "archiveBytes": 1862937450,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-E.dvc",
+      "dvcMd5": "d6b2fe0e3f23c47dc944ca4a8f82d97a.dir",
+      "extractedBytes": 9275755440,
+      "trackedFiles": 21977,
+      "resolvedFiles": 21977,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-H.MPQ",
+      "archiveBytes": 2154531136,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-H.dvc",
+      "dvcMd5": "5e95536d2c6f6ff792f05b800105bedc.dir",
+      "extractedBytes": 3727395837,
+      "trackedFiles": 40296,
+      "resolvedFiles": 40296,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-I.mpq",
+      "archiveBytes": 14891516,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-I.dvc",
+      "dvcMd5": "5db07768b0814c970d84a99b6072fd9f.dir",
+      "extractedBytes": 31453961,
+      "trackedFiles": 186,
+      "resolvedFiles": 186,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-M.MPQ",
+      "archiveBytes": 48772900,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-M.dvc",
+      "dvcMd5": "e927ae98c9971f378a82feb3299fdcb8.dir",
+      "extractedBytes": 69521651,
+      "trackedFiles": 1552,
+      "resolvedFiles": 1552,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-S.mpq",
+      "archiveBytes": 80492633,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-S.dvc",
+      "dvcMd5": "449383bbe05ebebb6bad2c37da7793c4.dir",
+      "extractedBytes": 142167464,
+      "trackedFiles": 1751,
+      "resolvedFiles": 1432,
+      "unresolvedBlocks": 318
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-T.mpq",
+      "archiveBytes": 418595462,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-T.dvc",
+      "dvcMd5": "fc19500b5ce0fd312a415a3118afd58d.dir",
+      "extractedBytes": 656858260,
+      "trackedFiles": 1810,
+      "resolvedFiles": 1731,
+      "unresolvedBlocks": 78
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-U.mpq",
+      "archiveBytes": 233678341,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-U.dvc",
+      "dvcMd5": "783909a6c2ebed5d4f43516fe1ea68bb.dir",
+      "extractedBytes": 460642379,
+      "trackedFiles": 1837,
+      "resolvedFiles": 1372,
+      "unresolvedBlocks": 464
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-W.mpq",
+      "archiveBytes": 29433979,
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-W.dvc",
+      "dvcMd5": "e2a1448eb0e443797acd577fc4b67249.dir",
+      "extractedBytes": 44597910,
+      "trackedFiles": 484,
+      "resolvedFiles": 381,
+      "unresolvedBlocks": 102
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-X.MPQ",
+      "archiveBytes": 2673854694,
+      "archiveSha256": "CD8CED6FA6C863D509DAE458E6DD44C3986B8B57731B6DC6192FE94125F8C1FD",
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-X.dvc",
+      "dvcMd5": "3d322d290959d1ead612f3b76860a1ea.dir",
+      "extractedBytes": 3984134962,
+      "trackedFiles": 29495,
+      "resolvedFiles": 29495,
+      "unresolvedBlocks": 0
+    },
+    {
+      "archive": "Data/ruRU/patch-ruRU-Y.MPQ",
+      "archiveBytes": 3001665276,
+      "archiveSha256": "534D496C1A1EE023B910ABC80B727BA88BB09CD2F5767100FC18EE41F4306B90",
+      "dvcPointer": "assets/graphics/Data/ruRU/patch-ruRU-Y.dvc",
+      "dvcMd5": "42f3a8ac35674e33c0a4420c84cadcb8.dir",
+      "extractedBytes": 11053212781,
+      "trackedFiles": 36191,
+      "resolvedFiles": 36191,
+      "unresolvedBlocks": 0
+    }
+  ]
+}