Documentation
¶
Index ¶
- Constants
- Variables
- func AnalyzerConstructor(config map[string]interface{}, cache *registry.Cache) (*analysis.Analyzer, error)
- func NormalizerFilterConstructor(config map[string]interface{}, cache *registry.Cache) (analysis.TokenFilter, error)
- func StemmerFilterConstructor(config map[string]interface{}, cache *registry.Cache) (analysis.TokenFilter, error)
- func StopTokenFilterConstructor(config map[string]interface{}, cache *registry.Cache) (analysis.TokenFilter, error)
- func TokenMapConstructor(config map[string]interface{}, cache *registry.Cache) (analysis.TokenMap, error)
- type ArabicNormalizeFilter
- type ArabicStemmerFilter
Constants ¶
View Source
const ( Alef = '\u0627' AlefMadda = '\u0622' AlefHamzaAbove = '\u0623' AlefHamzaBelow = '\u0625' Yeh = '\u064A' DotlessYeh = '\u0649' TehMarbuta = '\u0629' Heh = '\u0647' Tatweel = '\u0640' Fathatan = '\u064B' Dammatan = '\u064C' Kasratan = '\u064D' Fatha = '\u064E' Damma = '\u064F' Kasra = '\u0650' Shadda = '\u0651' Sukun = '\u0652' )
View Source
const AnalyzerName = "ar"
View Source
const NormalizeName = "normalize_ar"
View Source
const StemmerName = "stemmer_ar"
View Source
const StopName = "stop_ar"
Variables ¶
View Source
var ArabicStopWords = []byte(`# This file was created by Jacques Savoy and is distributed under the BSD license.
# See http://members.unine.ch/jacques.savoy/clef/index.html.
# Also see http://www.opensource.org/licenses/bsd-license.html
# Cleaned on October 11, 2009 (not normalized, so use before normalization)
# This means that when modifying this list, you might need to add some
# redundant entries, for example containing forms with both أ and ا
من
ومن
منها
منه
في
وفي
فيها
فيه
و
ف
ثم
او
أو
ب
بها
به
ا
أ
اى
اي
أي
أى
لا
ولا
الا
ألا
إلا
لكن
ما
وما
كما
فما
عن
مع
اذا
إذا
ان
أن
إن
انها
أنها
إنها
انه
أنه
إنه
بان
بأن
فان
فأن
وان
وأن
وإن
التى
التي
الذى
الذي
الذين
الى
الي
إلى
إلي
على
عليها
عليه
اما
أما
إما
ايضا
أيضا
كل
وكل
لم
ولم
لن
ولن
هى
هي
هو
وهى
وهي
وهو
فهى
فهي
فهو
انت
أنت
لك
لها
له
هذه
هذا
تلك
ذلك
هناك
كانت
كان
يكون
تكون
وكانت
وكان
غير
بعض
قد
نحو
بين
بينما
منذ
ضمن
حيث
الان
الآن
خلال
بعد
قبل
حتى
عند
عندما
لدى
جميع
`)
Functions ¶
func AnalyzerConstructor ¶
Types ¶
type ArabicNormalizeFilter ¶
type ArabicNormalizeFilter struct {
}
func NewArabicNormalizeFilter ¶
func NewArabicNormalizeFilter() *ArabicNormalizeFilter
func (*ArabicNormalizeFilter) Filter ¶
func (s *ArabicNormalizeFilter) Filter(input analysis.TokenStream) analysis.TokenStream
type ArabicStemmerFilter ¶
type ArabicStemmerFilter struct{}
func NewArabicStemmerFilter ¶
func NewArabicStemmerFilter() *ArabicStemmerFilter
func (*ArabicStemmerFilter) Filter ¶
func (s *ArabicStemmerFilter) Filter(input analysis.TokenStream) analysis.TokenStream
Source Files
Click to show internal directories.
Click to hide internal directories.