Merge pull request #18 from wannaphongcom/develop

PyThaiNLP 1.2 release

Author: wannaphong

.travis.yml

@@ -3,6 +3,7 @@
 
 language: python
 python:
+  - "2.7"
   - "3.4"
   - "3.5"
   - "3.6"

README.md

@@ -11,22 +11,27 @@ Thai NLP in python package.
 
 Thai Natural language processing in Python language.
 
-Supports Python 3.4 +
+Supports Python 2.7 and Python 3.4 +
 
-  - Document : [https://pythonhosted.org/pythainlp/](https://pythonhosted.org/pythainlp/)
+  - Document : [https://sites.google.com/view/pythainlp/home](https://sites.google.com/view/pythainlp/home)
   - GitHub Home :  [https://github.com/wannaphongcom/pythainlp](https://github.com/wannaphongcom/pythainlp)
 
 ### Project status
 
 Developing
 
 ### Version
-1.1
+1.2
+
+### New !
+  - add Thai Sentiment (Python 3.4 + only)
+  - Supports Python 2.7
 
 ### Capabilities
   - Thai Segment 
   - Thai to Latin
   - Thai Postaggers
+  - Thai Sentiment
   - Read a number to text in Thai language
   - Sort the words of a sentence
   - Fix the printer forgot to change the language
@@ -35,7 +40,7 @@ Developing
 
 # Install
 
-Supports Python 3.4 +
+Supports Python 2.7 and Python 3.4 +
 
 Stable version
 
@@ -89,17 +94,21 @@ Thai NLP in python package.
 
 Natural language processing หรือ การประมวลภาษาธรรมชาติ  โมดูล PyThaiNLP เป็นโมดูลที่ถูกพัฒนาขึ้นเพื่องานวิจัยและพัฒนาการประมวลภาษาธรรมชาติภาษาไทยในภาษา Python
 
-รองรับ Python 3.4 ขึ้นไป
+รองรับ Python 2.7 และ Python 3.4 ขึ้นไป
 
-  - เอกสารการใช้งาน : [https://pythonhosted.org/pythainlp/](https://pythonhosted.org/pythainlp/)
+  - เอกสารการใช้งาน : [https://sites.google.com/view/pythainlp/home](https://sites.google.com/view/pythainlp/home)
   - หน้าหลัก GitHub :  [https://github.com/wannaphongcom/pythainlp](https://github.com/wannaphongcom/pythainlp)
 
 ### สถานะโครงการ
 
 กำลังพัฒนา 
 
 ### Version
-1.1
+1.2
+
+### มีอะไรใหม่
+  - เพิ่มการรองรับ Sentiment ภาษาไทย (Python 3.4 ขึ้นไป)
+  - รองรับ Python 2.7
 
 ### ความสามารถ
   - ตัดคำภาษาไทย
@@ -113,7 +122,7 @@ Natural language processing หรือ การประมวลภาษา
 
 # ติดตั้ง
 
-รองรับ Python 3.4 ขึ้นไป
+รองรับ Python 2.7 และ Python 3.4 ขึ้นไป
 
 รุ่นเสถียร
 

README.rst

@@ -1,37 +1,27 @@
 PyThaiNLP
 =========
 
-[|PyPI Downloads|][|pypi|](https://pypi.python.org/pypi/pythainlp)
-|Build Status|
-
 Thai NLP in python package.
 
--  Homepage : https://pythonhosted.org/pythainlp/
+-  Homepage : https://sites.google.com/view/pythainlp/home
 -  GitHub : https://github.com/wannaphongcom/pythainlp
 
 
 Version
 ~~~~~~~
 
-1.1
+1.2
 
 
 Install
 =======
 
-Python 3.4 + only
-
 .. code:: sh
 
-    $ pip3 install pythainlp
+    $ pip install pythainlp
 
 License
 ~~~~~~~
 
 Apache Software License 2.0
 
-
-.. |PyPI Downloads| image:: https://img.shields.io/pypi/dm/pythainlp.png
-.. |pypi| image:: https://img.shields.io/pypi/v/pythainlp.svg
-.. |Build Status| image:: https://travis-ci.org/wannaphongcom/pythainlp.svg?branch=develop
-   :target: https://travis-ci.org/wannaphongcom/pythainlp

docs/license.md

@@ -1,7 +1,7 @@
 # License
 
 ```
-Copyright 2016, PyThaiNLP Project
+Copyright 2017, PyThaiNLP Project
 
 Licensed under the Apache License, Version 2.0 (the "License");
 you may not use this file except in compliance with the License.

pythainlp/Text.py

@@ -0,0 +1,8 @@
+# -*- coding: utf-8 -*-
+from __future__ import absolute_import,unicode_literals
+from pythainlp.tokenize import *
+import nltk
+def Text(str1):
+	if type(str1) != 'list':
+		str1=word_tokenize(str(str1))
+	return nltk.Text(str1)

pythainlp/__init__.py

@@ -1,8 +1,9 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import,unicode_literals
-__author__ = 'Wannaphong Phatthiyaphaibun'
-__email__ = '[email protected]'
-__version__ = '1.1'
+from __future__ import absolute_import
+import six
+if six.PY3:
+	from pythainlp.sentiment import *
+	from pythainlp.spell import *
 from pythainlp.romanization import *
 from pythainlp.segment import * # เตรียมลบออก 1
 from pythainlp.tokenize import * # แทนที่ 1
@@ -13,5 +14,5 @@
 from pythainlp.postaggers import * # เตรียมลบออก 2
 from pythainlp.tag import * # แทนที่ 2
 from pythainlp.collation import *
-from pythainlp.spell import *
-from pythainlp.test import *
+from pythainlp.test import *
+from pythainlp.Text import *

pythainlp/change/__init__.py

@@ -1,9 +1,10 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
-dictdata={'Z':'(','z':'ผ','X':')','x':'ป','C':'ฉ','c':'แ','V':'ฮ','v':'อ','B':'ฺ','b':'ิ','N':'์','n':'ื','M':'?','m':'ท','<':'ฒ',',':'ม','>':'ฬ','.':'ใ','?':'ฦ','/':'ฝ',
-'A':'ฤ','a':'ฟ','S':'ฆ','s':'ห','D':'ฏ','d':'ก','F':'โ','f':'ด','G':'ฌ','g':'เ','H':'็','h':'้','J':'๋','j':'j','K':'ษ','k':'า','L':'ศ','l':'ส',':':'ซ','"':'.',"'":"ง",':':'ซ',';':'ว',
-'Q':'๐','q':'ๆ','W':'"','w':'ไ','E':'ฎ','e':'ำ','R':'ฑ','r':'พ','T':'ธ','t':'ะ','Y':'ํ','y':'ั','U':'๊','u':'ี','I':'ณ','i':'ร','O':'ฯ','o':'น','P':'ญ','p':'ย','{':'ฐ','[':'บ','}':',',']':'ล','|':'ฅ',']':'ฃ',
-'~':'%','`':'_','@':'๑','2':'/','#':'๒','3':'-','$':'๓','4':'ภ','%':'๔','5':'ถ','^':'ู','6':'ุ','&':'฿','7':'ึ','*':'๕','8':'ค','(':'๖','9':'ต',')':'๗','0':'จ','_':'๘','-':'ข','+':'๙','=':'ช'}
+from __future__ import absolute_import,unicode_literals
+import six
+dictdata={u'Z':u'(',u'z':u'ผ',u'X':u')',u'x':u'ป',u'C':u'ฉ',u'c':u'แ',u'V':u'ฮ',u'v':u'อ',u'B':u'ฺ',u'b':u'ิ',u'N':u'์',u'n':u'ื',u'M':u'?',u'm':u'ท',u'<':u'ฒ',u',u':u'ม',u'>':u'ฬ',u'.':u'ใ',u'?':u'ฦ',u'/':u'ฝ',
+'A':u'ฤ',u'a':u'ฟ',u'S':u'ฆ',u's':u'ห',u'D':u'ฏ',u'd':u'ก',u'F':u'โ',u'f':u'ด',u'G':u'ฌ',u'g':u'เ',u'H':u'็',u'h':u'้',u'J':u'๋',u'j':u'j',u'K':u'ษ',u'k':u'า',u'L':u'ศ',u'l':u'ส',u':u':u'ซ',u'"':u'.',"'":"ง",u':u':u'ซ',u';':u'ว',
+'Q':u'๐',u'q':u'ๆ',u'W':u'"',u'w':u'ไ',u'E':u'ฎ',u'e':u'ำ',u'R':u'ฑ',u'r':u'พ',u'T':u'ธ',u't':u'ะ',u'Y':u'ํ',u'y':u'ั',u'U':u'๊',u'u':u'ี',u'I':u'ณ',u'i':u'ร',u'O':u'ฯ',u'o':u'น',u'P':u'ญ',u'p':u'ย',u'{':u'ฐ',u'[':u'บ',u'}':u',u',u']':u'ล',u'|':u'ฅ',u']':u'ฃ',
+'~':u'%',u'`':u'_',u'@':u'๑',u'2':u'/',u'#':u'๒',u'3':u'-',u'$':u'๓',u'4':u'ภ',u'%':u'๔',u'5':u'ถ',u'^':u'ู',u'6':u'ุ',u'&':u'฿',u'7':u'ึ',u'*':u'๕',u'8':u'ค',u'(':u'๖',u'9':u'ต',u')':u'๗',u'0':u'จ',u'_':u'๘',u'-':u'ข',u'+':u'๙',u'=':u'ช'}
 # แก้ไขพิมพ์ภาษาไทยผิดภาษา
 def texttothai(data):
 	"""เป็นคำสั่งแก้ไขข้อความที่พิมพ์ผิดภาษา ต้องการภาษาไทย แต่พิมพ์เป็นภาษาอังกฤษ 
@@ -16,14 +17,15 @@ def texttothai(data):
 		except:
 			a = a
 		data2+=a
+	del data
 	return data2
 # แก้ไขพิมพ์ภาษาอังกฤษผิดภาษา
 def texttoeng(data):
 	"""เป็นคำสั่งแก้ไขข้อความที่พิมพ์ผิดภาษา ต้องการภาษาอังกฤษ แต่พิมพ์เป็นภาษาไทย
 	รับค่าเป็น ''str'' คืนค่าเป็น ''str''"""
 	data = list(data)
 	data2 = ""
-	dictdataeng= {v: k for k, v in iteritems(dictdata)}
+	dictdataeng= {v: k for k, v in six.iteritems(dictdata)}
 	for a in data:
 		try:
 			a = dictdataeng[a]
@@ -37,5 +39,5 @@ def texttoeng(data):
 	a=texttothai(a)
 	b="นามรสนอำันี"
 	b=texttoeng(b)
-	print(a)
-	print(b)
+	six.print_(a)
+	six.print_(b)

pythainlp/chunk/__init__.py

@@ -1,3 +1,3 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
+from __future__ import absolute_import,unicode_literals
 # TODO

pythainlp/collation/__init__.py

@@ -1,5 +1,5 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
+from __future__ import absolute_import,unicode_literals
 import icu
 collator1 = icu.Collator.createInstance(icu.Locale('th_TH'))
 # เรียงลำดับข้อมูล list ภาษาไทย

pythainlp/corpus/__init__.py

@@ -1,6 +1,6 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
-__all__ = ["thaipos", "thaiword","alphabet","tone","country","wordnet"]
+from __future__ import absolute_import,unicode_literals
+#__all__ = ["thaipos", "thaiword","alphabet","tone","country","wordnet"]
 from .thaipos import get_data
 from .thaiword import get_data
 from .alphabet import get_data

pythainlp/corpus/alphabet.py

@@ -1,6 +1,7 @@
-from __future__ import absolute_import,unicode_literals
+from __future__ import absolute_import,unicode_literals
+import six
 def get_data():
 	"""เป็นคำสั่งสำหรับดึงตัวอักษร ก - ฮ ในภาษาไทย
 	คืนค่า list
 	"""
-	return ["ก","ข","ฃ","ค","ฅ","ฆ","ง","จ","ฉ","ช","ซ","ฌ","ญ","ฎ","ฏ","ฐ","ฑ","ฒ","ณ","ด","ต","ถ","ท","ธ","น","บ","ป","ผ","ฝ","พ","ฟ","ภ","ม","ย","ร","ล","ว","ศ","ษ","ส","ห","ฬ","อ","ฮ"]
+	return [u"ก",u"ข",u"ฃ",u"ค",u"ฅ",u"ฆ",u"ง",u"จ",u"ฉ",u"ช",u"ซ",u"ฌ",u"ญ",u"ฎ",u"ฏ",u"ฐ",u"ฑ",u"ฒ",u"ณ",u"ด",u"ต",u"ถ",u"ท",u"ธ",u"น",u"บ",u"ป",u"ผ",u"ฝ",u"พ",u"ฟ",u"ภ",u"ม",u"ย",u"ร",u"ล",u"ว",u"ศ",u"ษ",u"ส",u"ห",u"ฬ",u"อ",u"ฮ"]

pythainlp/corpus/country.py

@@ -1,12 +1,13 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
+from __future__ import absolute_import,unicode_literals
 from builtins import open
 import pythainlp
 import os
 import json
+import codecs
 templates_dir = os.path.join(os.path.dirname(pythainlp.__file__), 'corpus')
 template_file = os.path.join(templates_dir, 'thaipos.json')
 def get_data():
-	with open(template_file) as f:
+	with codecs.open(template_file,encoding='utf8') as f:
 		model = json.load(f)
 	return model

pythainlp/corpus/thaipos.py

@@ -1,5 +1,5 @@
-# -*- coding: utf-8 -*-
-from __future__ import absolute_import
+# -*- coding: utf-8 -*-
+from __future__ import absolute_import,unicode_literals
 import os
 import codecs
 import pythainlp

pythainlp/corpus/thaiword.py

@@ -1,6 +1,6 @@
-from __future__ import absolute_import,unicode_literals
+from __future__ import absolute_import,unicode_literals
 def get_data():
 	"""เป็นคำสั่งสำหรับตัววรรณยุกต์ในภาษาไทย
 	คืนค่า list
 	"""
-	return ['่','้','๊','๋']      
+	return [u'่',u'้',u'๊',u'๋']      

pythainlp/corpus/tone.py

@@ -1,5 +1,5 @@
-# WordNet ภาษาไทย
-from __future__ import print_function
+# WordNet ภาษาไทย
+from __future__ import unicode_literals,print_function,absolute_import
 import sqlite3
 import pythainlp
 import os

pythainlp/corpus/wordnet.py

@@ -1,5 +1,5 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
+from __future__ import absolute_import,unicode_literals
 import icu
 import datetime
 # TODO

pythainlp/corpus/คำมูล-คำอ่าน.db

@@ -3,17 +3,17 @@
 from __future__ import absolute_import,division,print_function,unicode_literals
 from builtins import dict
 from builtins import int
-import math
-p = [['ภาษาไทย', 'ตัวเลข','เลขไทย'],
-     ['หนึ่ง', '1', '๑'],
-     ['สอง', '2', '๒'],
-     ['สาม', '3', '๓'],
-     ['สี่', '4', '๔'],
-     ['ห้า', '5', '๕'],
-     ['หก', '6', '๖'],
-     ['หก', '7', '๗'],
-     ['แปด', '8', '๘'],
-     ['เก้า', '9', '๙']]
+import math,six
+p = [[u'ภาษาไทย', u'ตัวเลข',u'เลขไทย'],
+     [u'หนึ่ง', u'1', u'๑'],
+     [u'สอง', u'2', u'๒'],
+     [u'สาม', u'3', u'๓'],
+     [u'สี่', u'4', u'๔'],
+     [u'ห้า', u'5', u'๕'],
+     [u'หก', u'6', u'๖'],
+     [u'หก', u'7', u'๗'],
+     [u'แปด', u'8', u'๘'],
+     [u'เก้า', u'9', u'๙']]
 thaitonum = dict((x[2], x[1]) for x in p[1:])
 p1 = dict((x[0], x[1]) for x in p[1:])
 d1 = 0
@@ -96,7 +96,7 @@ def ReadNumber(number):
 			ret += "เอ็ด"
 		else:
 			ret += number_call[d]
-		if(d):
+		if d:
 			ret += position_call[pos]
 		else:
 			ret += ""

pythainlp/date/__init__.py

@@ -1,4 +1,23 @@
 # -*- coding: utf-8 -*-
-from __future__ import absolute_import
-__all__ = ["text"]
-from .text import tag
+from __future__ import absolute_import,division,print_function,unicode_literals
+from pythainlp.segment import segment
+import pythainlp
+import codecs
+import os
+import json
+import six
+import nltk.tag, nltk.data
+templates_dir = os.path.join(os.path.dirname(pythainlp.__file__), 'corpus')
+template_file = os.path.join(templates_dir, 'thaipos.json')
+#default_tagger = nltk.data.load(nltk.tag._POS_TAGGER)
+def data():
+	with codecs.open(template_file,'r',encoding='utf-8-sig') as handle:
+		model = json.load(handle)
+	return model
+data1 =data()
+#Postaggers ภาษาไทย
+def tag(text):
+	"""รับค่าเป็นข้อความ ''str'' คืนค่าเป็น ''list'' เช่น [('ข้อความ', 'ชนิดคำ')]"""
+	text= segment(text)
+	tagger = nltk.tag.UnigramTagger(model=data1)# backoff=default_tagger)
+	return tagger.tag(text)

pythainlp/number/__init__.py

@@ -5,6 +5,7 @@
 import codecs
 import os
 import json
+import six
 import nltk.tag, nltk.data
 templates_dir = os.path.join(os.path.dirname(pythainlp.__file__), 'corpus')
 template_file = os.path.join(templates_dir, 'thaipos.json')

pythainlp/postaggers/__init__.py

@@ -1,7 +1,9 @@
 # -*- coding: utf-8 -*-
 from __future__ import absolute_import,unicode_literals
-__all__ = ['pyicu']
-try:
-	from .pyicu import romanization
-except:
-	print("error")
+import icu
+import six
+# ถอดเสียงภาษาไทยเป็น Latin
+def romanization(data):
+	"""เป็นคำสั่ง ถอดเสียงภาษาไทยเป็น Latin รับค่า ''str'' ข้อความ คืนค่าเป็น ''str'' ข้อความ Latin"""
+	thai2latin = icu.Transliterator.createInstance('Thai-Latin')
+	return thai2latin.transliterate(data)

pythainlp/postaggers/text.py

@@ -1,7 +1,9 @@
 # -*- coding: utf-8 -*-
+from __future__ import absolute_import,unicode_literals
 import icu
+import six
 # ถอดเสียงภาษาไทยเป็น Latin
 def romanization(data):
 	"""เป็นคำสั่ง ถอดเสียงภาษาไทยเป็น Latin รับค่า ''str'' ข้อความ คืนค่าเป็น ''str'' ข้อความ Latin"""
 	thai2latin = icu.Transliterator.createInstance('Thai-Latin')
-	return thai2latin.transliterate(data)
+	return thai2latin.transliterate(six.u(data))