the-algorithm

KO | EN

gitlite — search

#python #typescript #llm #go #android #rust #deep-learning #linux #docker #nodejs #windows #awesome #mcp #ios

(★ 73,854)

X Recommendation Algorithm의 소스 코드

파일 탐색기

최종 버전 다운로드 (.zip)

파일 수가 많아 일부만 표시됩니다. 전체 파일은 위 다운로드 버튼으로 확인해 주세요.

- ci.sh
- BUILD.bazel
- README.md
- system-diagram.png
- BUILD
- CONFIG.ini
- FRS_architecture.png
- README.md
- - common.md
  - getintersection.md
- BUILD.bazel
- README.md
- BUILD.bazel
- README.md
- - Cargo.toml
- - build.rs
  - Cargo.toml
- - Cargo.toml
- README.md
- README.md
.gitignore
COPYING
README.md
RETREIVAL_SIGNALS.md

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# X의 추천 알고리즘

X의 추천 알고리즘은 X의 모든 제품 표면(예: For You 타임라인, 검색, 탐색, 알림) 전반에 걸쳐 게시물 및 기타 콘텐츠 피드를 제공하는 역할을 담당하는 서비스와 작업의 모음입니다. 알고리즘 작동 방식에 대한 소개는 당사의 [엔지니어링 블로그](https://blog.x.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm)를 참조하세요.

## 아키텍처

X의 제품 표면은 공유 데이터, 모델 및 소프트웨어 프레임워크 집합을 기반으로 구축됩니다. 이 저장소에 포함된 공유 구성 요소는 다음과 같습니다.

| 유형 | 구성 요소 | 설명 |
|------------|------------|------------|
| 데이터 | [tweetypie](tweetypie/server/README.md) | 게시물 데이터의 읽기 및 쓰기를 처리하는 코어 서비스. |
|      | [unified-user-actions](unified_user_actions/README.md) | X에서의 사용자 작업 실시간 스트림. |
|      | [user-signal-service](user-signal-service/README.md) | 명시적(예: 좋아요, 답글) 및 암시적(예: 프로필 방문, 트윗 클릭) 사용자 시그널을 검색하는 중앙 집중식 플랫폼. |
| 모델 | [SimClusters](src/scala/com/twitter/simclusters_v2/README.md) | 커뮤니티 감지 및 해당 커뮤니티로의 희소 임베딩(sparse embedding). |
|       | [TwHIN](https://github.com/twitter/the-algorithm-ml/blob/main/projects/twhin/README.md) | 사용자 및 게시물을 위한 조밀한 지식 그래프 임베딩(dense knowledge graph embedding). |
|       | [trust-and-safety-models](trust_and_safety_models/README.md) | NSFW 또는 악성 콘텐츠를 감지하기 위한 모델. |
|       | [real-graph](src/scala/com/twitter/interaction_graph/README.md) | X 사용자가 다른 사용자와 상호 작용할 가능성을 예측하는 모델. |
|       | [tweepcred](src/scala/com/twitter/graph/batch/job/tweepcred/README) | X 사용자 평판을 계산하기 위한 Page-Rank 알고리즘. |
|       | [recos-injector](recos-injector/README.md) | [GraphJet](https://github.com/twitter/GraphJet) 기반 서비스를 위한 입력 스트림을 구축하는 스트리밍 이벤트 프로세서. |
|       | [graph-feature-service](graph-feature-service/README.md) | 방향성 있는 사용자 쌍에 대한 그래프 피처를 제공함(예: 사용자 A가 팔로우하는 사람들 중 사용자 B의 게시물을 좋아한 사람의 수). |
|       | [topic-social-proof](topic-social-proof/README.md) | 개별 게시물과 관련된 토픽을 식별함. |
|       | [representation-scorer](representation-scorer/README.md) | 임베딩 유사성을 사용하여 엔티티 쌍(사용자, 게시물 등) 간의 점수를 계산함. |
| 소프트웨어 프레임워크 | [navi](navi/README.md) | Rust로 작성된 고성능 머신러닝 모델 서빙. |
|                    | [product-mixer](product-mixer/README.md) | 콘텐츠 피드를 구축하기 위한 소프트웨어 프레임워크. |
|                    | [timelines-aggregation-framework](timelines/data_processing/ml_util/aggregation_framework/README.md) | 배치 또는 실시간으로 집계 피처를 생성하기 위한 프레임워크. |
|                    | [representation-manager](representation-manager/README.md) | 임베딩(즉, SimClusters 및 TwHIN)을 검색하는 서비스. |
|                    | [twml](twml/README.md) | TensorFlow v1을 기반으로 구축된 레거시 머신러닝 프레임워크. |

현재 이 저장소에 포함된 제품 표면은 For You 타임라인과 추천 알림입니다.

### For You 타임라인

아래 다이어그램은 주요 서비스와 작업이 상호 연결되어 For You 타임라인을 구성하는 방법을 보여줍니다.

![](https://raw.githubusercontent.com/twitter/the-algorithm/main/docs/system-diagram.png)

이 저장소에 포함된 For You 타임라인의 핵심 구성 요소는 다음과 같습니다.

| 유형 | 구성 요소 | 설명 |
|------------|------------|------------|
| 후보 소스 | [search-index](src/java/com/twitter/search/README.md) | 인네트워크(In-Network) 게시물을 찾아 순위를 매김. 게시물의 약 50%가 이 후보 소스에서 나옴. |
|                  | [tweet-mixer](tweet-mixer) | 기본 컴퓨팅 서비스에서 아웃오브네트워크(Out-of-Network) 트윗 후보를 가져오기 위한 코디네이션 계층. |
|                  | [user-tweet-entity-graph](src/scala/com/twitter/recos/user_tweet_entity_graph/README.md) (UTEG)| 메모리 내 사용자-게시물 상호 작용 그래프를 유지 관리하고 이 그래프의 트래버설(traversal)을 기반으로 후보를 찾음. 이는 [GraphJet](https://github.com/twitter/GraphJet) 프레임워크를 기반으로 구축됨. 기타 여러 GraphJet 기반 피처 및 후보 소스는 [여기](src/scala/com/twitter/recos)에 있음. |
|                  | [follow-recommendation-service](follow-recommendations-service/README.md) (FRS)| 사용자에게 팔로우할 계정 및 해당 계정의 게시물 추천을 제공함. |
| 순위 지정 | [light-ranker](src/python/twitter/deepbird/projects/timelines/scripts/models/earlybird/README.md) | 게시물 순위를 매기기 위해 검색 인덱스(Earlybird)에서 사용하는 라이트 랭커(Light Ranker) 모델. |
|         | [heavy-ranker](https://github.com/twitter/the-algorithm-ml/blob/main/projects/home/recap/README.md) | 후보 게시물의 순위를 매기기 위한 신경망. 후보 소싱 후 타임라인 게시물을 선택하는 데 사용되는 주요 시그널 중 하나. |
| 게시물 믹싱 및 필터링 | [home-mixer](home-mixer/README.md) | 홈 타임라인을 구성하고 서빙하는 데 사용되는 메인 서비스. [product-mixer](product-mixer/README.md)를 기반으로 구축됨. |
|                          | [visibility-filters](visibilitylib/README.md) | 법적 준수를 지원하고, 제품 품질을 개선하며, 사용자 신뢰를 높이고, 엄격한 필터링(hard-filtering), 가시적인 제품 처리, 거친 수준의 다운랭킹을 통해 수익을 보호하기 위해 X 콘텐츠를 필터링하는 역할을 담당함. |
|                          | [timelineranker](timelineranker/README.md) | Earlybird 검색 인덱스 및 UTEG 서비스에서 관련성 점수가 매겨진 게시물을 제공하는 레거시 서비스. |

### 추천 알림

이 저장소에 포함된 추천 알림의 핵심 구성 요소는 다음과 같습니다.

| 유형 | 구성 요소 | 설명 |
|------------|------------|------------|
| 서비스 | [pushservice](pushservice/README.md) | 알림을 통해 사용자에게 추천을 노출하는 데 사용되는 X의 주요 추천 서비스. |
| 순위 지정 | [pushservice-light-ranker](pushservice/src/main/python/models/light_ranking/README.md) | 게시물 순위를 매기기 위해 pushservice에서 사용하는 라이트 랭커 모델. 초기 대규모 후보 풀에서 관련성이 높은 후보를 미리 선택하여 후보 생성과 헤비 랭킹을 연결함. |
|         | [pushservice-heavy-ranker](pushservice/src/main/python/models/heavy_ranking/README.md) | 타겟 사용자가 전송된 알림을 열고 상호 작용할 확률을 예측하기 위한 멀티태스크 학습 모델. |

## 코드 빌드 및 테스트

대부분의 구성 요소에 대한 Bazel BUILD 파일은 포함되어 있지만, 최상위 BUILD 또는 WORKSPACE 파일은 포함되어 있지 않습니다. 향후 더 완벽한 빌드 및 테스트 시스템을 추가할 계획입니다.

## 기여하기

추천 알고리즘 개선에 대한 제안을 위해 커뮤니티에서 GitHub 이슈와 풀 리퀘스트를 제출해 주시는 것을 환영합니다. 당사는 이러한 제안을 관리하고 내부 저장소와 변경 사항을 동기화하기 위한 도구를 개발 중입니다. 보안과 관련된 우려 사항이나 문제는 HackerOne을 통해 공식 [버그 바운티 프로그램](https://hackerone.com/x)으로 접수해 주시기 바랍니다. 글로벌 커뮤니티의 집단 지성과 전문 지식을 활용하여 문제를 식별하고 개선 사항을 제안함으로써 궁극적으로 더 나은 X를 만들어 나갈 수 있기를 바랍니다.

오픈 소스 이니셔티브에 대한 블로그 글은 [여기](https://blog.x.com/en_us/topics/company/2023/a-new-era-of-transparency-for-twitter)에서 읽어보세요.

the-algorithm

파일 탐색기

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

the-algorithm

파일 탐색기

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README