pelias
/
api
mirror of https://github.com/pelias/api.git
1
0
Fork 0
Code Issues Releases Activity
Browse Source

better population and popularity boosting

pull/338/head
Peter Johnson 9 years ago
parent
bfd2720681
commit
cb679888ff
17 changed files with 519 additions and 314 deletions
Whitespace
Show all changes Ignore whitespace when comparing lines Ignore changes in amount of whitespace Ignore changes in whitespace at EOL
Split View
Diff Options
Show Stats Download Patch File Download Diff File
  1. 2
      package.json
  2. 3
      query/autocomplete.js
  3. 16
      query/defaults.js
  4. 2
      query/reverse.js
  5. 3
      query/search.js
  6. 68
      test/unit/fixture/autocomplete_linguistic_focus.js
  7. 66
      test/unit/fixture/autocomplete_linguistic_focus_null_island.js
  8. 68
      test/unit/fixture/autocomplete_linguistic_only.js
  9. 66
      test/unit/fixture/search_boundary_country.js
  10. 65
      test/unit/fixture/search_full_address.js
  11. 68
      test/unit/fixture/search_linguistic_bbox.js
  12. 68
      test/unit/fixture/search_linguistic_focus.js
  13. 68
      test/unit/fixture/search_linguistic_focus_bbox.js
  14. 66
      test/unit/fixture/search_linguistic_focus_null_island.js
  15. 68
      test/unit/fixture/search_linguistic_only.js
  16. 68
      test/unit/fixture/search_partial_address.js
  17. 68
      test/unit/fixture/search_regions_address.js

2
package.json
Unescape View File

@ -51,7 +51,7 @@
"pelias-config": "^1.0.1",
"pelias-esclient": "0.0.25",
"pelias-logger": "^0.0.8",
"pelias-query": "2.0.0",
"pelias-query": "4.0.0",
"pelias-schema": "1.0.0",
"pelias-suggester-pipeline": "2.0.2",
"stats-lite": "^1.0.3",

3
query/autocomplete.js
Unescape View File

@ -14,7 +14,8 @@ query.score( peliasQuery.view.ngrams, 'must' );
// scoring boost
query.score( peliasQuery.view.phrase );
query.score( peliasQuery.view.focus( peliasQuery.view.ngrams ) );
query.score( peliasQuery.view.popularity(['admin0','admin1','admin2']) );
query.score( peliasQuery.view.popularity( peliasQuery.view.phrase ) );
query.score( peliasQuery.view.population( peliasQuery.view.phrase ) );
// --------------------------------

16
query/defaults.js
Unescape View File

@ -8,7 +8,7 @@ module.exports = extend( false, peliasQuery.defaults, {
'track_scores': true,
'centroid:field': 'center_point',
'sort:distance:order': 'asc',
'sort:distance:distance_type': 'plane',
@ -79,6 +79,16 @@ module.exports = extend( false, peliasQuery.defaults, {
'admin:neighborhood:analyzer': 'peliasAdmin',
'admin:neighborhood:field': 'neighborhood',
'admin:neighborhood:boost': 1
'admin:neighborhood:boost': 1,
'popularity:field': 'popularity',
'popularity:modifier': 'sqrt',
'popularity:max_boost': 10000,
'popularity:weight': 1,
'population:field': 'population',
'population:modifier': 'sqrt',
'population:max_boost': 2000,
'population:weight': 1
});
});

2
query/reverse.js
Unescape View File

@ -44,7 +44,7 @@ function generateQuery( clean ){
// bounding circle
// note: the sanitizers will take care of the case
// where point.lan/point.lon are provided in the
// where point.lan/point.lon are provided in the
// absense of boundary.circle.lat/boundary.circle.lon
if( check.number(clean['boundary.circle.lat']) &&
check.number(clean['boundary.circle.lon']) &&

3
query/search.js
Unescape View File

@ -15,7 +15,8 @@ query.score( peliasQuery.view.ngrams, 'must' );
// scoring boost
query.score( peliasQuery.view.phrase );
query.score( peliasQuery.view.focus( peliasQuery.view.phrase ) );
query.score( peliasQuery.view.popularity(['admin0','admin1','admin2']) );
query.score( peliasQuery.view.popularity( peliasQuery.view.phrase ) );
query.score( peliasQuery.view.population( peliasQuery.view.phrase ) );
// address components
query.score( peliasQuery.view.address('housenumber') );

68
test/unit/fixture/autocomplete_linguistic_focus.js
Unescape View File

@ -50,39 +50,26 @@ module.exports = {
'score_mode': 'avg',
'boost_mode': 'replace'
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -92,6 +79,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}
@ -100,4 +116,4 @@ module.exports = {
'sort': [ '_score' ],
'size': 10,
'track_scores': true
};
};

66
test/unit/fixture/autocomplete_linguistic_focus_null_island.js
Unescape View File

@ -50,39 +50,26 @@ module.exports = {
'score_mode': 'avg',
'boost_mode': 'replace'
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -92,6 +79,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}

68
test/unit/fixture/autocomplete_linguistic_only.js
Unescape View File

@ -23,39 +23,26 @@ module.exports = {
'slop': 2
}
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -65,6 +52,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}
@ -73,4 +89,4 @@ module.exports = {
'sort': [ '_score' ],
'size': 10,
'track_scores': true
};
};

66
test/unit/fixture/search_boundary_country.js
Unescape View File

@ -33,39 +33,26 @@ module.exports = {
'slop': 2
}
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -75,6 +62,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}

65
test/unit/fixture/search_full_address.js
Unescape View File

@ -30,35 +30,23 @@ module.exports = {
{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': '123 main st',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -68,6 +56,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': '123 main st',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
},{
'match': {
'address.number': {
@ -164,4 +181,4 @@ module.exports = {
'size': 10,
'sort': [ '_score' ],
'track_scores': true
};
};

68
test/unit/fixture/search_linguistic_bbox.js
Unescape View File

@ -23,39 +23,26 @@ module.exports = {
'slop': 2
}
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -65,6 +52,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
},
@ -89,4 +105,4 @@ module.exports = {
'sort': [ '_sort' ],
'size': 10,
'track_scores': true
};
};

68
test/unit/fixture/search_linguistic_focus.js
Unescape View File

@ -52,39 +52,26 @@ module.exports = {
'score_mode': 'avg',
'boost_mode': 'replace'
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -94,6 +81,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}
@ -102,4 +118,4 @@ module.exports = {
'sort': [ '_sort' ],
'size': 10,
'track_scores': true
};
};

68
test/unit/fixture/search_linguistic_focus_bbox.js
Unescape View File

@ -52,39 +52,26 @@ module.exports = {
'score_mode': 'avg',
'boost_mode': 'replace'
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -94,6 +81,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
},
@ -118,4 +134,4 @@ module.exports = {
'sort': [ '_sort' ],
'size': 10,
'track_scores': true
};
};

66
test/unit/fixture/search_linguistic_focus_null_island.js
Unescape View File

@ -52,39 +52,26 @@ module.exports = {
'score_mode': 'avg',
'boost_mode': 'replace'
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -94,6 +81,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}

68
test/unit/fixture/search_linguistic_only.js
Unescape View File

@ -23,39 +23,26 @@ module.exports = {
'slop': 2
}
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -65,6 +52,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'test',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
}]
}
}
@ -73,4 +89,4 @@ module.exports = {
'sort': [ '_score' ],
'size': 10,
'track_scores': true
};
};

68
test/unit/fixture/search_partial_address.js
Unescape View File

@ -26,39 +26,26 @@ module.exports = {
'boost': 1
}
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': 'soho grand',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -68,6 +55,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': 'soho grand',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
},{
'match': {
'admin0': {
@ -132,4 +148,4 @@ module.exports = {
'size': 10,
'sort': [ '_score' ],
'track_scores': true
};
};

68
test/unit/fixture/search_regions_address.js
Unescape View File

@ -26,39 +26,26 @@ module.exports = {
'boost': 1
}
}
},
{
},{
'function_score': {
'query': {
'filtered': {
'filter': {
'exists': {
'field': 'popularity'
}
'match': {
'phrase.default': {
'query': '1 water st',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2,
'max_boost': 10000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'or': [
{
'type': {
'value': 'admin0'
}
},
{
'type': {
'value': 'admin1'
}
},
{
'type': {
'value': 'admin2'
}
}
]
'exists': {
'field': 'popularity'
}
},
'functions': [{
'field_value_factor': {
@ -68,6 +55,35 @@ module.exports = {
'weight': 1
}]
}
},{
'function_score': {
'query': {
'match': {
'phrase.default': {
'query': '1 water st',
'analyzer': 'peliasPhrase',
'type': 'phrase',
'slop': 2,
'boost': 1
}
}
},
'max_boost': 2000,
'score_mode': 'first',
'boost_mode': 'replace',
'filter': {
'exists': {
'field': 'population'
}
},
'functions': [{
'field_value_factor': {
'modifier': 'sqrt',
'field': 'population'
},
'weight': 1
}]
}
},{
'match': {
'address.number': {
@ -148,4 +164,4 @@ module.exports = {
'size': 10,
'sort': [ '_score' ],
'track_scores': true
};
};

Write Preview
Loading…
Cancel
Save