mirror of https://github.com/pelias/api.git
Alex Loyko
8 years ago
9 changed files with 396 additions and 6 deletions
@ -0,0 +1,59 @@ |
|||||||
|
const _ = require('lodash'); |
||||||
|
const iso3166 = require('iso3166-1'); |
||||||
|
const util = require('../util/arrayHelper'); |
||||||
|
|
||||||
|
/* |
||||||
|
this function returns an object that denotes an intersection of form: |
||||||
|
{ |
||||||
|
street1: value1, |
||||||
|
street2: value2 |
||||||
|
} |
||||||
|
*/ |
||||||
|
function parseIntersections(text) { |
||||||
|
var str1 = '', str2 = ''; |
||||||
|
if(text.trim().length > 1) { |
||||||
|
var words = text.toLowerCase().split(' '); |
||||||
|
// remove all the whitespaces
|
||||||
|
words = util.removeWhitespaceElements(words); |
||||||
|
words = util.EWStreetsSanitizer(words); |
||||||
|
words = util.addOrdinality(words); |
||||||
|
// only treat input as intersection if contains '&' or 'and'
|
||||||
|
const delimiter = _.includes(text, '&') ? '&' : 'and'; |
||||||
|
const delimiterIndex = words.indexOf(delimiter); |
||||||
|
|
||||||
|
str1 = util.wordsToSentence(words, 0, delimiterIndex); |
||||||
|
str2 = util.wordsToSentence(words, delimiterIndex+1, words.length); |
||||||
|
} else { |
||||||
|
throw 'Missing streets in the intersection'; |
||||||
|
} |
||||||
|
return { street1: str1, street2: str2 }; |
||||||
|
} |
||||||
|
|
||||||
|
function setup(should_execute) { |
||||||
|
function controller( req, res, next ){ |
||||||
|
// bail early if req/res don't pass conditions for execution
|
||||||
|
if (!should_execute(req, res)) { |
||||||
|
return next(); |
||||||
|
} |
||||||
|
|
||||||
|
// parse text with query parser
|
||||||
|
//const parsed_text = text_analyzer.parse(req.clean.text);
|
||||||
|
const parsed_text = parseIntersections(req.clean.text); |
||||||
|
|
||||||
|
if (parsed_text !== undefined) { |
||||||
|
// if a known ISO2 country was parsed, convert it to ISO3
|
||||||
|
if (_.has(parsed_text, 'country') && iso3166.is2(_.toUpper(parsed_text.country))) { |
||||||
|
parsed_text.country = iso3166.to3(_.toUpper(parsed_text.country)); |
||||||
|
} |
||||||
|
|
||||||
|
req.clean.parsed_text = parsed_text; |
||||||
|
} |
||||||
|
|
||||||
|
return next(); |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
return controller; |
||||||
|
} |
||||||
|
|
||||||
|
module.exports = setup; |
||||||
@ -0,0 +1,5 @@ |
|||||||
|
const _ = require('lodash'); |
||||||
|
|
||||||
|
module.exports = (request, response) => { |
||||||
|
return _.includes(request.query.text, '&') || _.includes(request.query.text, ' and '); |
||||||
|
}; |
||||||
@ -0,0 +1,220 @@ |
|||||||
|
/* eslint-disable */ |
||||||
|
|
||||||
|
//
|
||||||
|
// 'use strict';
|
||||||
|
//
|
||||||
|
// const peliasQuery = require('pelias-query');
|
||||||
|
// const defaults = require('./search_defaults');
|
||||||
|
// const textParser = require('./text_parser');
|
||||||
|
// const check = require('check-types');
|
||||||
|
// const logger = require('pelias-logger').get('api');
|
||||||
|
//
|
||||||
|
// //------------------------------
|
||||||
|
// // general-purpose search query
|
||||||
|
// //------------------------------
|
||||||
|
// var fallbackQuery = new peliasQuery.layout.FallbackQuery();
|
||||||
|
//
|
||||||
|
// // scoring boost
|
||||||
|
// fallbackQuery.score( peliasQuery.view.focus_only_function( peliasQuery.view.phrase ) );
|
||||||
|
// fallbackQuery.score( peliasQuery.view.popularity_only_function );
|
||||||
|
// fallbackQuery.score( peliasQuery.view.population_only_function );
|
||||||
|
// // --------------------------------
|
||||||
|
//
|
||||||
|
// // non-scoring hard filters
|
||||||
|
// fallbackQuery.filter( peliasQuery.view.boundary_country );
|
||||||
|
// fallbackQuery.filter( peliasQuery.view.boundary_circle );
|
||||||
|
// fallbackQuery.filter( peliasQuery.view.boundary_rect );
|
||||||
|
// fallbackQuery.filter( peliasQuery.view.sources );
|
||||||
|
// fallbackQuery.filter( peliasQuery.view.layers );
|
||||||
|
// fallbackQuery.filter( peliasQuery.view.categories );
|
||||||
|
// // --------------------------------
|
||||||
|
//
|
||||||
|
// /**
|
||||||
|
// map request variables to query variables for all inputs
|
||||||
|
// provided by this HTTP request.
|
||||||
|
// **/
|
||||||
|
// function generateQuery( clean ){
|
||||||
|
//
|
||||||
|
// console.log("I am in intersections query");
|
||||||
|
//
|
||||||
|
// const vs = new peliasQuery.Vars( defaults );
|
||||||
|
//
|
||||||
|
// let logStr = '[query:search] [parser:intersections_parser] ';
|
||||||
|
//
|
||||||
|
// // input text
|
||||||
|
// vs.var( 'input:name', clean.text );
|
||||||
|
//
|
||||||
|
// // sources
|
||||||
|
// if( check.array(clean.sources) && clean.sources.length ) {
|
||||||
|
// vs.var( 'sources', clean.sources);
|
||||||
|
// logStr += '[param:sources] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // layers
|
||||||
|
// if( check.array(clean.layers) && clean.layers.length ) {
|
||||||
|
// vs.var('layers', clean.layers);
|
||||||
|
// logStr += '[param:layers] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // categories
|
||||||
|
// if (clean.categories) {
|
||||||
|
// vs.var('input:categories', clean.categories);
|
||||||
|
// logStr += '[param:categories] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // size
|
||||||
|
// if( clean.querySize ) {
|
||||||
|
// vs.var( 'size', clean.querySize );
|
||||||
|
// logStr += '[param:querySize] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // focus point
|
||||||
|
// if( check.number(clean['focus.point.lat']) &&
|
||||||
|
// check.number(clean['focus.point.lon']) ){
|
||||||
|
// vs.set({
|
||||||
|
// 'focus:point:lat': clean['focus.point.lat'],
|
||||||
|
// 'focus:point:lon': clean['focus.point.lon']
|
||||||
|
// });
|
||||||
|
// logStr += '[param:focus_point] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // boundary rect
|
||||||
|
// if( check.number(clean['boundary.rect.min_lat']) &&
|
||||||
|
// check.number(clean['boundary.rect.max_lat']) &&
|
||||||
|
// check.number(clean['boundary.rect.min_lon']) &&
|
||||||
|
// check.number(clean['boundary.rect.max_lon']) ){
|
||||||
|
// vs.set({
|
||||||
|
// 'boundary:rect:top': clean['boundary.rect.max_lat'],
|
||||||
|
// 'boundary:rect:right': clean['boundary.rect.max_lon'],
|
||||||
|
// 'boundary:rect:bottom': clean['boundary.rect.min_lat'],
|
||||||
|
// 'boundary:rect:left': clean['boundary.rect.min_lon']
|
||||||
|
// });
|
||||||
|
// logStr += '[param:boundary_rect] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // boundary circle
|
||||||
|
// // @todo: change these to the correct request variable names
|
||||||
|
// if( check.number(clean['boundary.circle.lat']) &&
|
||||||
|
// check.number(clean['boundary.circle.lon']) ){
|
||||||
|
// vs.set({
|
||||||
|
// 'boundary:circle:lat': clean['boundary.circle.lat'],
|
||||||
|
// 'boundary:circle:lon': clean['boundary.circle.lon']
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// if( check.number(clean['boundary.circle.radius']) ){
|
||||||
|
// vs.set({
|
||||||
|
// 'boundary:circle:radius': Math.round( clean['boundary.circle.radius'] ) + 'km'
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
// logStr += '[param:boundary_circle] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // boundary country
|
||||||
|
// if( check.string(clean['boundary.country']) ){
|
||||||
|
// vs.set({
|
||||||
|
// 'boundary:country': clean['boundary.country']
|
||||||
|
// });
|
||||||
|
// logStr += '[param:boundary_country] ';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // run the address parser
|
||||||
|
// if( clean.parsed_text ){
|
||||||
|
// textParser( clean.parsed_text, vs );
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// var q = getQuery(vs);
|
||||||
|
//
|
||||||
|
// //console.log(JSON.stringify(q, null, 2));
|
||||||
|
//
|
||||||
|
// if (q !== undefined) {
|
||||||
|
// logger.info(logStr);
|
||||||
|
// }
|
||||||
|
// else {
|
||||||
|
// logger.info('[parser:intersections] query type not supported');
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// return q;
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// function getQuery(vs) {
|
||||||
|
//
|
||||||
|
// logger.info(`[query:search] [search_input_type:${determineQueryType(vs)}]`);
|
||||||
|
//
|
||||||
|
// if (hasStreet(vs) || isPostalCodeOnly(vs)) {
|
||||||
|
// return {
|
||||||
|
// type: 'fallback',
|
||||||
|
// body: fallbackQuery.render(vs)
|
||||||
|
// };
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // returning undefined is a signal to a later step that the addressit-parsed
|
||||||
|
// // query should be queried for
|
||||||
|
// return undefined;
|
||||||
|
//
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// function determineQueryType(vs) {
|
||||||
|
// if (vs.isset('input:housenumber') && vs.isset('input:street')) {
|
||||||
|
// return 'address';
|
||||||
|
// }
|
||||||
|
// else if (vs.isset('input:street')) {
|
||||||
|
// return 'street';
|
||||||
|
// }
|
||||||
|
// else if (vs.isset('input:street1') || vs.isset('input:street2')) {
|
||||||
|
// return 'intersection';
|
||||||
|
// }
|
||||||
|
// else if (vs.isset('input:query')) {
|
||||||
|
// return 'venue';
|
||||||
|
// }
|
||||||
|
// else if (['neighbourhood', 'borough', 'postcode', 'county', 'region','country'].some(
|
||||||
|
// layer => vs.isset(`input:${layer}`)
|
||||||
|
// )) {
|
||||||
|
// return 'admin';
|
||||||
|
// }
|
||||||
|
// return 'other';
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// function hasStreet(vs) {
|
||||||
|
// return vs.isset('input:street') || vs.isset('input:street1') || vs.isset('input:street2');
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// function isPostalCodeOnly(vs) {
|
||||||
|
// var isSet = layer => vs.isset(`input:${layer}`);
|
||||||
|
//
|
||||||
|
// var allowedFields = ['postcode'];
|
||||||
|
// var disallowedFields = ['query', 'category', 'housenumber', 'street',
|
||||||
|
// 'neighbourhood', 'borough', 'county', 'region', 'country'];
|
||||||
|
//
|
||||||
|
// return allowedFields.every(isSet) &&
|
||||||
|
// !disallowedFields.some(isSet);
|
||||||
|
//
|
||||||
|
// }
|
||||||
|
|
||||||
|
function generateQuery(clean) { |
||||||
|
return { |
||||||
|
type: 'fallback', |
||||||
|
body: { |
||||||
|
'size': 2, |
||||||
|
'query': { |
||||||
|
'or': [{ |
||||||
|
'bool' : { |
||||||
|
'must': [ |
||||||
|
{ 'match': { 'layer' : 'intersection'} }, |
||||||
|
{ 'match': { 'address_parts.street1' : clean.parsed_text.street1} }, |
||||||
|
{ 'match': { 'address_parts.street2' : clean.parsed_text.street2} } |
||||||
|
] |
||||||
|
} }, { |
||||||
|
'bool' : { |
||||||
|
'must': [ |
||||||
|
{ 'match': { 'layer' : 'intersection'} }, |
||||||
|
{ 'match': { 'address_parts.street1' : clean.parsed_text.street2} }, |
||||||
|
{ 'match': { 'address_parts.street2' : clean.parsed_text.street1} } |
||||||
|
] |
||||||
|
} } |
||||||
|
] |
||||||
|
} |
||||||
|
} |
||||||
|
}; |
||||||
|
} |
||||||
|
|
||||||
|
module.exports = generateQuery; |
||||||
@ -0,0 +1,75 @@ |
|||||||
|
module.exports.removeWhitespaceElements = function (arr) { |
||||||
|
for(let i = 0; i < arr.length; i++) { |
||||||
|
if(arr[i] === '') { |
||||||
|
arr.splice(i, 1); |
||||||
|
i--; |
||||||
|
} |
||||||
|
} |
||||||
|
return arr; |
||||||
|
}; |
||||||
|
|
||||||
|
// intended for intersections only
|
||||||
|
// this function turns '77' into '77th', '3' into '3rd', etc
|
||||||
|
module.exports.addOrdinality = function (arr) { |
||||||
|
arr.forEach( function (elmnt, index) { |
||||||
|
// is it only numbers
|
||||||
|
let isNum = /^\d+$/.test(elmnt); |
||||||
|
if(isNum) { |
||||||
|
switch(elmnt[elmnt.length-1]){ |
||||||
|
case '1': |
||||||
|
elmnt += 'st'; |
||||||
|
arr[index] = elmnt; |
||||||
|
break; |
||||||
|
case '2': |
||||||
|
elmnt += 'nd'; |
||||||
|
arr[index] = elmnt; |
||||||
|
break; |
||||||
|
case '3': |
||||||
|
elmnt += 'rd'; |
||||||
|
arr[index] = elmnt; |
||||||
|
break; |
||||||
|
default : |
||||||
|
elmnt += 'th'; |
||||||
|
arr[index] = elmnt; |
||||||
|
} |
||||||
|
} |
||||||
|
}); |
||||||
|
return arr; |
||||||
|
}; |
||||||
|
|
||||||
|
// intended to do the conversions like:
|
||||||
|
// 'w28' -> 'West 28'
|
||||||
|
// 'e17' -> 'East 17'
|
||||||
|
module.exports.EWStreetsSanitizer = function(arr){ |
||||||
|
const mapping = { |
||||||
|
e : 'East', |
||||||
|
w : 'West' |
||||||
|
}; |
||||||
|
|
||||||
|
for (let i = 0; i < arr.length; i++) { |
||||||
|
if (arr[i].length > 1) { |
||||||
|
if((arr[i][0].toLowerCase() === 'e' || arr[i][0].toLowerCase() === 'w') && /^\d$/.test(arr[i][1])) { |
||||||
|
let streetNum = arr[i].substring(1); |
||||||
|
arr[i] = mapping[arr[i][0]]; |
||||||
|
if(i+1 === arr.length) { |
||||||
|
arr.push(streetNum); |
||||||
|
} else { |
||||||
|
arr.splice(i+1,0,streetNum); |
||||||
|
} |
||||||
|
} |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
return arr; |
||||||
|
}; |
||||||
|
|
||||||
|
module.exports.wordsToSentence = function (arr, start, end) { |
||||||
|
var sentence = ''; |
||||||
|
for (let i = start; i < end; i++) { |
||||||
|
sentence += arr[i]; |
||||||
|
if (i < (end - 1)) { |
||||||
|
sentence += ' '; |
||||||
|
} |
||||||
|
} |
||||||
|
return sentence; |
||||||
|
}; |
||||||
Loading…
Reference in new issue