WaranusMove : A Machine Learning Tool for analyzing structure of abstract in research article

Abstract

WaranusMove: A machine learning tool for analyzing structure of abstract in research article Abstract is a brief summary of a research article and thesis. It is usually used to help readers quickly discover the paper's purpose. This study aimed to develop a machine learning tool for analyzing abstract named WasarnusMove. The abstract analysis tool is able to analyze structure of abstract into five move, including background, purpose, method, result and discussion. Each move will be showed in separate blocks of colors. Moreover, Support Vector Machine (SVM) and decision tree were applied as classifiers to compare the performance.

The system was developed as a web-based application by using the Python and PHP language. Our tool comprises of training mode and analyzing mode. In training mode, abstracts in any field can be trained with various classifiers such as decision tree, naïve bayes, SVM, and random forest. The three group of features can be selected, which are lexical features, grammatical and position features, and lexical, grammatical and position features. In analyzing mode, many models from training mode can be deployed for user to categorize sentences in any abstract into each move.

We also evaluated the performance of two classifiers with 10-fold cross validation. The results suggested that decision tree performed better than SVM. Finally, WaranusMove tool is useful for beginner to practice writing abstract in English and for researcher to create the model for classifying abstracts.

งานวิจัยนี้ได้พัฒนาเครื่องมือสำหรับการวิเคราะห์โครงสร้างและองค์ประกอบสำหรับบทคัดย่อของเอกสารทางวิชาการ โดยบทคัดย่อเป็นส่วนสรุปภาพรวมและรายละเอียดพื้นฐานของงานวิจัยและวิทยานิพนธ์ โดยปกติแล้วบทคัดย่อใช้เป็นส่วนช่วยให้ผู้อ่านสามารถค้นหาวัตถุประสงค์ของงานวิจัยได้อย่างรวดเร็ว งานวิจัยนี้มีวัตถุประสงค์ที่จะนำการเรียนรู้ของเครื่องมาใช้วิเคราะห์โครงสร้างของบทคัดย่อเพื่อพัฒนาเครื่องมือที่มีชื่อว่า WaranusMove ซึ่งเครื่องมือนี้สามารถวิเคราะห์โครงสร้างของบทคัดย่อที่มีอยู่ 5 มูฟประกอบด้วย background, purpose, method result และ discussion ซึ่งแสดงผลลัพธ์อยู่ในรูปแบบของแถบสีครอบคลุมแต่ละประโยคเพื่อบ่งบอกมูฟ นอกจากนั้นได้นำเอาโมเดลการเรียนรู้ของเครื่อง Support Vector Machine (SVM) และ Decision tree มาเปรียบเทียบประสิทธิภาพการจำแนกโครงสร้างของบทคัดย่อ

งานวิจัยนี้พัฒนาขึ้นในรูปแบบโปรแกรมประยุกต์บนเว็บไซต์ที่ใช้ภาษาโปรแกรม Python และ PHP ในการพัฒนาประกอบด้วย ส่วนการฝึกฝน ในส่วนนี้ระบบสามารถเรียนรู้บทคัดย่อได้ในหลากหลายสาขาวิชาและใช้โมเดลการเรียนรู้ของเครื่องได้ดังนี้ Decision tree, Naïve bays, SVM และ Random forest และสามารถเลือกกลุ่มของคุณลักษณะที่ใช้ในการวิเคราะห์ทั้ง 3 รูปแบบ ได้แก่ Lexical features, Grammatical and position features และ Lexical, Grammatical and position features ต่อมาคือส่วนการวิเคราะห์ ในส่วนนี้ผู้ใช้สามารถนำโมเดลที่เรียนรู้บทคัดย่อในสาขาวิชาต่างๆ จากส่วนการฝึกฝนมาใช้จำแนกโครงสร้างของประโยคในบทคัดย่อได้ นอกจากนี้ได้มีการประเมินประสิทธิภาพของการจำแนกประเภทโครงสร้างของบทคัดย่อด้วยวิธีการ 10-fold cross validation จากผลลัพธ์การวิจัยพบว่า Decision tree ให้ประสิทธิภาพการวิเคราะห์ที่ดีกว่า SVM สุดท้ายนี้เครื่องมือสำหรับการวิเคราะห์โครงสร้างของบทคัดย่อหรือ WaranusMove นั้นมีประโยชน์ต่อผู้เริ่มต้นการฝึกฝนเขียนบทคัดย่อในภาษาอังกฤษ และผู้วิจัยที่ต้องการสร้างโมเดลการจำแนกโครงสร้างของบทคัดย่ออีกด้วย