appledaily-archive-directory

KO | EN

gitlite — search

#javascript #python #react #ai #typescript #go #deep-learning #linux #docker #java #cli #awesome-list #security #pytorch

appledaily-archive-directory

(★ 113)

蘋果日報文字備份目錄

appledaily-archive-directory 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# 《蘋果日報》文字備份計劃

- [引言](#引言)
- [計劃定位及目標](#計劃定位及目標)
- [數據來源及內容](#數據來源及內容)
- [下載方法](#下載方法)
- [資料結構同元資料(metadata)](#資料結構同元資料metadata)
  - [`appledaily-article-json-backup-partial.zip`](#appledaily-article-json-backup-partialzip)
  - [`appledaily-html-backup-partial.zip`](#appledaily-html-backup-partialzip)
  - [`appledaily-html-plaintext-full.tar.bz2`](#appledaily-html-plaintext-fulltarbz2)
  - [`appledaily-images.zip`](#appledaily-imageszip)
  - [`appledaily-articles-json.zip`](#appledaily-articles-jsonzip)
  - [`apple-articles-plaintext-20020101-20210620.zip`](#apple-articles-plaintext-20020101-20210620zip)
  - [`appledaily-backup-metadata.zip`](#appledaily-backup-metadatazip)
- [聲明](#聲明)
- [FAQ](#faq)
  - [乜野係Resilio Sync？安唔安全？](#乜野係resilio-sync安唔安全)
  - [點解唔用XX](#點解唔用xx)
    - [點解唔用Dropbox/Google Drive/One Drive](#點解唔用dropboxgoogle-driveone-drive)
    - [點解唔用IPFS](#點解唔用ipfs)
- [寫在最後](#寫在最後)
- [其他資源](#其他資源)
  - [YouTube](#youtube)

## 引言

《蘋果日報》已經喺2021年6月25日因涉嫌違反港區國安法而停刊。網絡上有唔少人都幫手將《蘋果日報》內容備份，我都想出一分力幫下手。

我之前backup左《蘋果日報》四十萬篇文，仲喺連登開左個Post：[[現場直播]我backup左蘋果四十萬篇文章](https://lih.kg/2588517) 。喺post入面講過會比大家下載，喺時候啦。

> **[直去下載](#下載方法)**

## 計劃定位及目標

- 主力喺想backup《蘋果日報》嘅文字內容，我相信文字嘅力量。
- 希望之後可以為內文加入索引(indexing)，再寫一個SEO friendly嘅網站比大家可以易啲搵到之前嘅文章。
- 公開數據喺希望可以集思廣益，等大家諗下可以點樣善用啲數據。唔想收收埋埋，其實大家backup完都唔會無啦啦一條一條開返黎睇。
- 公開數據可以達到去中心化(decentralized)嘅目的，就算他日一個人有事，其他人都可以接力。
- **不是**要整埋所有《蘋果日報》包括圖/片/IG/Youtube/TG/FB等。我知到有其他人做緊。

## 數據來源及內容

數據由不同地方收集，其中包括：

- 由蘋果網站（及其備份）直接下載HTML
  - [https://hk.appledaily.com/archive](https://hk.appledaily.com/archive/20020101/) （己死）
  - [https://appledaily-hk-appledaily-sandbox.cdn.arcpublishing.com/](https://appledaily-hk-appledaily-sandbox.cdn.arcpublishing.com/)（己死）
- 由公開API下載文章相關數據（JSON格式）
  - [https://appledaily-hk-appledaily-prod.cdn.arcpublishing.com/feeds/articleDetail](https://appledaily-hk-appledaily-prod.cdn.arcpublishing.com/feeds/articleDetail) （己死）
- 其他公海搵到嘅備份數據

由`sorted_urls.txt` 得知《蘋果日報》計晒所有版塊，由2002/01/01到2021/06/23最少有320萬篇文章。由於時間緊迫，只可以係死之前盡量backup，所以手上有嘅數據都唔完整。另外係公海都搵到兩個係IPFS嘅備份，但由於下載速度太慢，所以無時間驗證同整合到此目錄。之後如果再搵到唔同source會加返入黎。

《蘋果日報》文字檔2016-2021備份
[https://ipfs.io/ipfs/QmX1WxnXhD5zyGch5rnJhCDS7P51CLt9YGSH5kFpzkL46T/](https://ipfs.io/ipfs/QmX1WxnXhD5zyGch5rnJhCDS7P51CLt9YGSH5kFpzkL46T/)

《蘋果日報》2002-01-01~2021-06-22圖文版
總數為2083673篇，約139GB
因連線問題、爬蟲太爛、連結壞掉等原因，仍有缺漏
[https://ipfs.io/ipfs/Qmdig4NtBTbUiw9KRri83Warmrp4f5PFFFZMoQUwqXuNbZ/](https://ipfs.io/ipfs/Qmdig4NtBTbUiw9KRri83Warmrp4f5PFFFZMoQUwqXuNbZ/)

## 下載方法

今次會用Resilio Sync (舊名BT Sync)去分享文件。下載請確保你有最少15GB硬碟空間。

第一步首先下載Resilio Sync [https://www.resilio.com/individuals/](https://www.resilio.com/individuals/)

開啟軟件之後禁左上角嘅`+`

之後簡"Enter a key or link"

再貼上條Read Only key再禁Next

`BFVFWP3DN5JCTK2TN2BDWURAN243LYN7U`

 <img src="screenshot/004.png" style="width: 50%"/>

再簡一個空嘅folder比佢download (全部內容14GB)

下載完之後記住keep住啲file同盡量長開部機做seed。同BT一樣，多啲人做seed就會快啲同多啲人download到。

> 為保障個人私隱，請去 Preferences > General > Device name 同埋 Preferences > Identity 到檢查一下你嘅設定。

## 資料結構同元資料(metadata)

下載左之後會有幾個壓縮左嘅文件，以下係內容簡介同sample data。

### `appledaily-article-json-backup-partial.zip`
- 壓縮大小：1.0G
- 解壓縮後大小：4.7G
- 總文件數：300,577
- SHA256: `864a248a906cd130bc9204b75153464b42d1b285ca7606045b57d52b421bd4c3`
- 內容：由 https://appledaily-hk-appledaily-prod.cdn.arcpublishing.com/feeds/articleDetail 抽取嘅article details JSON data
- Sample data: [samples/article_detail.json](samples/article_detail.json)