Mở đầu • 01 / 18
Sự quan tâm của khán giả, khả năng tiếp cận và các bản chia sẻ trên BitTorrent liên hệ thế nào?
Phim & sự quan tâm
Phát hành & nơi xem
Các bản chia sẻ được ghi nhận
Tích hợp và Phân tích dữ liệu lớn 18 slide
Mở đầu • 02 / 18
Mỗi nguồn trả lời một phần câu hỏi; tiền xử lý đưa ba nguồn về cùng một bộ phim.
Hồ sơ phim: tên, năm, thể loại, điểm và lượt bình chọn. Lượt bình chọn là chỉ báo sự quan tâm.
Ngày phát hành và nơi xem hợp pháp. Thông tin nơi xem trong TMDb do JustWatch cung cấp.
Metadata các gói tệp chia sẻ qua BitTorrent. Đếm bản chia sẻ, không đếm người tải hoặc người xem.
Tiền xử lý
Chỉ phim lẻ; bỏ phim người lớn, tập phim bộ, sự kiện thể thao
Bỏ dấu, chữ thường, thêm tên theo từng nước (akas)
Tên + năm từ tên torrent ↔ IMDb; TMDb nối qua imdb_id
Bỏ tệp < 100 MB, năm lệch, ca trùng tên, torrent giả
Chỉ giữ giai đoạn thu thập ổn định 04/2021 – 09/2024
Kết quả: 2.078.927 cặp torrent–phim sạch · 126.081 phim
Tiền xử lý • 03 / 18
Tiền xử lý • 04 / 18
Bước 01–03, 10 · Trích phần cần dùng, giữ định danh và đưa tên phim về cùng một dạng.
torrent_id, chuyển phần trích xuất sang Parquet.Đầu ra: matched_files, magnetdb_matched_slice, mdb_*
titleType = movie; nối điểm và bình chọn bằng tconst.title.akas.758.524 phim · 1.875.336 tên trong chỉ mục.
el gran lebowski→The Big Lebowski · 1998tt0118715Tên thay thế vẫn dẫn về cùng một mã IMDb; chưa cần so khớp gần đúng.
Nguồn: notebook 00_quy_trinh_xu_ly · số liệu và ví dụ từ kết quả đã lưu.
Tiền xử lý • 05 / 18
Bước 04, 08 · Ghép tên bằng chỉ mục IMDb; kiểm tra bằng cách so với nhãn có sẵn của MagnetDB.
Parasite.2019.PLSUBBED.480p.WEB-DL.XViD.AC3-LLA.avi
Kiểm tra thuật toán này trên 226.006 torrent MagnetDB đã gán phim: thuật toán trả lời 129.184 torrent, 92,0% trùng nhãn MagnetDB (mức đồng thuận); độ phủ 52,6% vì thuật toán từ chối tên không có năm hoặc mơ hồ. Ca lệch phần lớn do MagnetDB gán nhầm phần phim/năm (vd. Paranormal Activity 4 → phần 1).
Nguồn: notebook 00_quy_trinh_xu_ly · số liệu và ví dụ từ kết quả đã lưu.
Tiền xử lý • 06 / 18
Bước 09 · Kiểm tra nội dung, danh tính phim, sự nhất quán giữa nguồn và các mốc thời gian.
…S03E01… bị gán vào A Series of Unfortunate Events (2004).
Independence Day · tên file 2016 nhưng phim được gán là 1996.
Ant-Man and the Wasp: Quantumania
Phát hiện 18/12/2022 · ra rạp 15/02/2023.
Có thể truy vết: số lượng còn lại được ghi trong cleaning_log.csv; bảng torrent giữ các cờ như is_pack, quality_tier và implausible.
Nguồn: notebook 00_quy_trinh_xu_ly · số liệu và ví dụ từ kết quả đã lưu.
Tiền xử lý • 07 / 18
Đầu ra bước 09 · Một bảng theo cặp torrent–phim và một bảng tổng hợp theo phim.
torrents_cleanMã torrent + IMDb; nguồn ghép, chất lượng, cờ gói nhiều phim, cờ bất thường và ngày phát hiện UTC.
Số cặp có thể lớn hơn số torrent vì một gói chứa nhiều phim.
movie_analysisHồ sơ IMDb + TMDb và thống kê torrent theo phim trong cửa sổ quan sát.
Đếm torrent riêng biệt theo phim trước khi tính chỉ số so sánh.
01/04/2021 ≤ ngày phát hiện < 29/09/2024Chọn giai đoạn thu thập ổn định hơn; vẫn có gián đoạn.Các số đếm sạch loại implausible. Ngày phát hiện không phải ngày tạo torrent; điểm và nơi xem là ảnh chụp năm 2026.
Nguồn: notebook 00_quy_trinh_xu_ly · số liệu và ví dụ từ kết quả đã lưu.
IMDb • 08 / 18
IMDb • 09 / 18
TMDb • 10 / 18
TMDb • 11 / 18
MagnetDB • 12 / 18
MagnetDB • 13 / 18
Tích hợp • 14 / 18
Tích hợp • 15 / 18
Phân tích chung • 16 / 18
Phân tích chung • 17 / 18
Phân tích chung • 18 / 18