th-qa-system-261491

KO | EN

gitlite — search

#javascript #python #hacktoberfest #llm #go #android #machine-learning #docker #macos #java #awesome-list #security #mcp #openai

th-qa-system-261491

(★ 8)

A Thai machine-learning based question-answering system from text-source input project.

th-qa-system-261491 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# A Thai machine-learning based question-answering system from text source input project.
## Environment setup
### This project uses Python 3.6.8 in development
### Create virtual environment
```
python -m venv VENV_NAME
```
> Note: VENV_NAME can be any folder name
### Activate virtual environment (Windows 10)
```
VENV_NAME/Script/activate.ps1
```
> For those who face system execution policy error may relax the system execution policy to allow running of local scripts without verifying the code signature using the following 
```
PS C:\> Set-ExecutionPolicy RemoteSigned
```
### Install python dependencies
```
pip install -r requirements.txt
```
> Note: This environment uses GPU Computing, for CPU computing change tensorflow-gpu in requirements.txt to tensorflow

# Dataset description ([Google Drive](https://drive.google.com/drive/folders/1pPRewSKGxsbJSL4Zpfeydbormtf4vTml))
## Sentence Vectors Comparison Model training data
### data/compare_model_fasttext_dataset/
* positive_sentences.zip
> Description: Similar sentences based on 4,000 NSC 2018 questions use for question-answer sentences training.

> คำอธิบาย: ประโยคที่เหมือนซึ่งมาจาก 4,000 คำถามจาก NSC 2018 ใช้ในการสอนให้โมเดลเรียนรู้ความสัมพันธ์ของประโยคคำถามกับประโยคคำตอบ
* positive_embedded.zip
> Description: positive_sentences in fastText vector representation form.

> คำอธิบาย: ประโยคเดียวกันกับ positive_sentences แต่อยู่ในรูปเวกเตอร์จากโมเดล fastText
* negative0.zip
> Description: Dissimilar sentences based on 4,000 NSC 2018 questions and come from the same article with positive sentences use for question-answer sentences training.

> คำอธิบาย: ประโยคที่ไม่เหมือนซึ่งมาจาก 4,000 คำถามจาก NSC 2018 และอยู่ในบทความเดียวกับประโยคที่เหมือนใช้ในการสอนให้โมเดลเรียนรู้ความสัมพันธ์ของประโยคคำถามกับประโยคที่ไม่ใช่คำตอบ
* negative0_embedded.zip
> Description: negative0 in fastText vector representation form.

> คำอธิบาย: ประโยคเดียวกันกับ negative0 แต่อยู่ในรูปเวกเตอร์จากโมเดล fastText
* negative1.zip
> Description: Dissimilar sentences based on 4,000 NSC 2018 questions and come from the different article with positive sentences use for question-answer sentences training

> คำอธิบาย: ประโยคที่ไม่เหมือนซึ่งมาจาก 4,000 คำถามจาก NSC 2018 แต่ไม่ได้อยู่ภายในบทความเดียวกับประโยคที่เหมือนใช้ในการสอนให้โมเดลเรียนรู้ความสัมพันธ์ของประโยคคำถามกับประโยคที่ไม่ใช่คำตอบ
* negative1_embedded.zip
> Description: negative1 in fastText vector representation form.

> คำอธิบาย: ประโยคเดียวกันกับ negative1 แต่อยู่ในรูปเวกเตอร์จากโมเดล fastText

> Note: All files in these zipped folders are named by (question ID - 1) to refer to specific article  หมายเหตุ: ไฟล์ทุกไฟล์ในไฟล์ zip ถูกตั้งชื่อด้วย (เลขคำถาม - 1) เพื่อที่จะระบุบทความนั้นๆ

Example:

positive_sentence_question0.json
```
{
    "article_id": 115035, 
    "question_id": 1, 
    "sample_answer_maks": [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], 
    "sample_character_range": [[499, 503], [503, 507], [507, 510], [510, 513], [513, 516], [516, 519], [520, 524], [524, 527], [528, 537], [539, 543], [544, 548], [551, 555], [556, 560], [562, 564], [564, 568], [568, 571], [572, 574], [575, 577], [577, 581], [581, 583]], 
    "sample_index": [141, 142, 143, 144, 145, 146, 148, 149, 151, 154, 156, 160, 162, 165, 166, 167, 169, 171, 172, 173], 
    "sample_sentence": ["แสดง", "เป็น", "เบน", "จี้", "ตัว", "แรก", "ชื่อ", "ว่า", "ฮิกกิ้นส์", "พ.ศ.", "2502", "พ.ศ.", "2518", "มี", "อายุ", "ถึง", "15", "ปี", "แล้ว", "ใน"]}, 
    ...,
}
```
## Thai questions about articles in Wikipedia for question-answering
### data/nsc_2018_question/
* embedded_questions_4000_40_300.zip
> Description: fastText embedding questions, each question has equal length of 40 words and each word is embedded with 300 dimensional vector. (for question that has less than 40 words are padded with zero vector)

> คำอธิบาย: ไฟล์ประโยคที่แต่ละคำถูกเข้ารหัสด้วยโมเดล fastText ซึ่งแต่ละประโยคมีความยาวเท่ากันที่ 40 คำและแต่ละคำถูกแทนด้วยเวกเตอร์ขนาด 300 มิติ (ประโยคที่ยาวน้อยกว่า 40 คำจะถูกแทนด้วยเวกเตอร์ศูนย์)

* nsc_question_answers.json
> Description: This file provides question's answer details which consist of answer, answer beginning character position, answer endding character position, article ID, question and question ID in JSON object form.

> คำอธิบาย: ไฟล์เฉลยของคำถาม NSC 2018 จำนวน 4,000 คำถาม ประกอบด้วย คำตอบ, ตำแหน่งของตัวอักษรแรกของคำตอบ, ตำแหน่งของตัวอักษรสุดท้ายของคำตอบ, บทความของคำตอบ, คำถาม และเลขที่ของคำถามในรูปแบบ JSON object

Usage: 
```
import json
fp = open('nsc_question_answers.json', encoding='utf-8-sig')
data = json.load(fp)['data']
```
This will get list of 4,000 question answer objects.

Example: 
```
{
"question_id": 4,
"question": "กระทรวงโฆษณาแถลงข่าวและโฆษณาชวนเชื่อของนาซีเยอรมนี ก่อตั้งขึ้นในปี ค.ศ. ใด", 
"answer": "ปี 1933", 
"answer_begin_position ": 304, 
"answer_end_position": 311,
"article_id": 547560
}
```
* tokenized_questions.json
> Description: This file provides list of 4,000 tokenized questions using deepcut model.

> คำอธิบาย: ไฟล์คำถามที่ถูกตัดคำ (tokenize) แล้วซึ่งเป็นลิสต์ของคำถามจำนวน 4,000 คำถามที่ถูกตัดคำด้วยโมเดล deepcut

Usage: 
```
import json
fp = open('tokenized_questions.json', encoding='utf-8-sig')
data = json.load(fp)[3]
print(data)
```
**print(data)** will show
```
['กระทรวง', 'โฆษณา', 'แถลง', 'ข่าว', 'และ', 'โฆษณาชวนเชื่อ', 'ของ', 'นาซี', 'เยอรมนี', ' ', 'ก่อตั้ง', 'ขึ้น', 'ใน', 'ปี', ' ', 'ค.ศ.', ' ', 'ใด']
```
## fastText Thai pre-trained word vectors
### data/fasttext_th_wv/
> Description: This is word vectors for 2,000,000 Thai words trained from Thai Wikipedia.

> คำอธิบาย: ไฟล์เวกเตอร์ของคำที่ถูก Train ด้วยวิกิพีเดียภาษาไทยจำนวน 2,000,000 คำ

Usage:
```
fp = open('cc.th.300.vec', encoding='utf-8-sig')
vocab_wvs = {}
line_count = 0
for line in fp:
    if(line_count > 0):
        line = line.split()
        if(line[0] in vocabs):
            vocab_wvs[line[0]] = line[1:]
            vocab_count += 1
    line_count += 1
```
All words in **vocabs** those pass condition **if(line[0] in vocabs):** will be represented by fastText vectors

**vocab_wvs** is now a key-value dictionary which key is Thai word and value is 300 dimensional vector.

## Tokenized Thai Wikipedia articles using "deepcut" model
### data/tokenized_th_wiki/
> Description: This file provides 125,302 tokenized Thai Wikipedia articles using deepcut model.

> คำอธิบาย: ไฟล์ของบทความที่ถูกตัดคำแล้วด้วยโมเดล deepcut จำนวน 125,302 บทความ

## Source
[GitHub](https://github.com/patda9/th-qa-system-261491/blob/master/README.md)

th-qa-system-261491

th-qa-system-261491 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

th-qa-system-261491

th-qa-system-261491 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README