JData

KO | EN

gitlite — search

#python #hacktoberfest #ai #llm #android #machine-learning #rust #linux #macos #nodejs #windows #cli #security #mcp

(★ 86)

京东JData算法大赛-高潜用户购买意向预测

JData 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

## load_data.py ##

- 装载三月四月份数据，保存在'data/month_34_all_data.csv'位置：

load_data(month_3_data_path, month_3_extra_data_path, month_4_data_path,month_34_all_data_path)

- 发现异常用户，返回need_delete_user的list集合：

find_unNormal_user(month_34_all_data_path)

- 删除异常用户，将所有行为数据保存至'data/all_dataSet.csv'

clean_unNormal_data(all_dataSet_path, month_34_all_data_path)

----------
## generate_dataSet.py ##

-  以2016-03-17到2016-04-05数据 预测2016-04-06到2016-04-10某用户是否下单某商品
- 以2016-03-22到2016-04-10数据   预测2016-04-11到2016-04-15某用户是否下单某商品
- 以2016-03-27到2016-04-15数据   预测2016-04-16到2016-04-20某用户是否下单某商品

all_dataSet_path = 'data/all_dataSet.csv'
        one_dataSet_train_path = 'data/one_dataSet_train.csv'
        one_dataSet_test_path = 'data/one_dataSet_test.csv'
        two_dataSet_train_path = 'data/two_dataSet_train.csv'
        two_dataSet_test_path = 'data/two_dataSet_test.csv'
        three_dataSet_train_path = 'data/three_dataSet_train.csv'

从总表中按上面时间截取部分数据作为数据集 : generate_dataSet()
    切分方法函数：

cut_data_as_time(dataSet_path, new_dataSet_path , begin_day, end_day)

----------

##  generate_all_feature.py ##

train_one_train_feature_path = 'data/train_one_train_feature.csv'
    train_two_train_feature_path = 'data/train_two_train_feature.csv'
    train_three_train_feature_path = 'data/train_three_train_feature.csv'

总的合并各种特征，最终结果保存在上面地址：generate_all_feature()
1.  generate_feature.py

fetch_feature(sample_filename, feature_filename, item_brand, code)
         - sample_filename:样本信息地址
            - feature_filename：提取出的特征地址
            - code : 针对不同信息样本，表征下不同的特证名
            - 此处48维特征

2. generate_feature_1.py
   处理用户信息特征：deal_with_user_data()
   处理商品评价特征：deal_with_comment_data()
   将上述特征加入到目前的特征中：

fetch_feature_1(train_feature_path, finnal_feature_data_path)

3. generate_feature_2.py
   自动生成当前数据集最近2\4\6\8天的特征：

split_dataSet_and_generate_feature()

将上述特征加入到目前的特征中：

fetch_feature_2(train_feature_path, finnal_feature_data_path, index)

----------

## combine_feature_dataSet.py ##

之前的特征位置

train_one_train_feature_path = 'data/train_one_train_feature.csv'
    train_two_train_feature_path = 'data/train_two_train_feature.csv'
    train_three_train_feature_path = 'data/train_three_train_feature.csv'

源数据集：

one_dataSet_test_path = 'data/one_dataSet_test.csv'
    two_dataSet_test_path = 'data/two_dataSet_test.csv'

合并后保存的位置：

one_train_dataSet_final_path = 'data/one_train_dataSet_final.csv'
    two_train_dataSet_final_path = 'data/two_train_dataSet_final.csv'

核心函数包括 main_combine()：
1. 从最开始划分的不同时间数据集中找出正样本信息，与之对应到特征数据集中对相应样本进行正负样本标注：

fetch_sample(test_data_path, feature_data_path, negative_data_path,positive_data_path)

2. 负样本太多，进行抽取部分作为负样本：

fetch_negative_sample(negative_data_path, new_negative_data_path)

3. 将现有正负样本（经过标注）合并成训练集测试集等，用于最终测试

combine_neg_and_posi(negative_data_path, positive_data_path, train_dataSet_path)

----------

## ceshiyanzheng.py ##

1. 用来计算AB值，输入为（user_id,sku_id）格式

evl(two_real_path, two_answer_path)

2. 用来输出测试后的答案

output_answer(dataSet_path, proba_path, before_answer_path, answer_path)
        - dataSet_path   训练集
        - proba_path    预测结果
        - before_answer_path  将结果标准化(user_id,sku_id)格式
        - answer_path    去除before_answer_path中重复的数据，为最终结果

----------

##　load_data.py ##

一般来说此时数据集准备就绪，但是按题意所有预测商品均在Ｐ中，我们需要删除一部分数据集中不属于这些商品的数据

clean_data(dataSet_path, after_dataSet_path)
    　-　dataSet_path　输入为　特征数据集，用来训练或者预测的特征集，未清洗
    　-　 after_dataSet_path　　　合理的，将直接用于ｍｏｄｅｌ的特征数据集

----------

##　main_test.py ##

这里选用ＲＦ测试：

clf = model_rf.classify_user_item(train_feature_dataSet, test_feature_dataSet, 
                             proba_path)
                             
    model_rf.classify(clf, test_feature_dataSet, proba_path)      
    model_rf.output_answer(feature_path, proba_path, two_before_answer_path, two_answer_path)
    
    ceshiyanzheng.evl(two_real_path, two_answer_path)

JData

JData 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

JData

JData 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README