mirror of https://github.com/pelias/api.git
Stephen Hess
7 years ago
committed by
GitHub
16 changed files with 965 additions and 378 deletions
@ -0,0 +1,75 @@ |
|||||||
|
const _ = require('lodash'); |
||||||
|
const Debug = require('../helper/debug'); |
||||||
|
const debugLog = new Debug('controller:libpostal'); |
||||||
|
const logger = require('pelias-logger').get('api'); |
||||||
|
|
||||||
|
// if there's a house_number in the libpostal response, return it
|
||||||
|
// otherwise return the postcode field (which may be undefined)
|
||||||
|
function findHouseNumberField(response) { |
||||||
|
const house_number_field = response.find(f => f.label === 'house_number'); |
||||||
|
|
||||||
|
if (house_number_field) { |
||||||
|
return house_number_field; |
||||||
|
} |
||||||
|
|
||||||
|
return response.find(f => f.label === 'postcode'); |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
function setup(libpostalService, should_execute) { |
||||||
|
function controller( req, res, next ){ |
||||||
|
// bail early if req/res don't pass conditions for execution
|
||||||
|
if (!should_execute(req, res)) { |
||||||
|
return next(); |
||||||
|
} |
||||||
|
|
||||||
|
const initialTime = debugLog.beginTimer(req); |
||||||
|
|
||||||
|
libpostalService(req, (err, response) => { |
||||||
|
if (err) { |
||||||
|
// push err.message or err onto req.errors
|
||||||
|
req.errors.push( _.get(err, 'message', err) ); |
||||||
|
|
||||||
|
} else { |
||||||
|
// figure out which field contains the probable house number, prefer house_number
|
||||||
|
// libpostal parses some inputs, like `3370 cobbe ave`, as a postcode+street
|
||||||
|
// so because we're treating the entire field as a street address, it's safe
|
||||||
|
// to assume that an identified postcode is actually a house number.
|
||||||
|
const house_number_field = findHouseNumberField(response); |
||||||
|
|
||||||
|
// if we're fairly certain that libpostal identified a house number
|
||||||
|
// (from either the house_number or postcode field), place it into the
|
||||||
|
// number field and remove the first instance of that value from address
|
||||||
|
// and assign to street
|
||||||
|
// eg - '1090 N Charlotte St' becomes number=1090 and street=N Charlotte St
|
||||||
|
if (house_number_field) { |
||||||
|
req.clean.parsed_text.number = house_number_field.value; |
||||||
|
|
||||||
|
// remove the first instance of the number and trim whitespace
|
||||||
|
req.clean.parsed_text.street = _.trim(_.replace(req.clean.parsed_text.address, req.clean.parsed_text.number, '')); |
||||||
|
|
||||||
|
} else { |
||||||
|
// otherwise no house number was identifiable, so treat the entire input
|
||||||
|
// as a street
|
||||||
|
req.clean.parsed_text.street = req.clean.parsed_text.address; |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
// the address field no longer means anything since it's been parsed, so remove it
|
||||||
|
delete req.clean.parsed_text.address; |
||||||
|
|
||||||
|
debugLog.push(req, {parsed_text: response}); |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
debugLog.stopTimer(req, initialTime); |
||||||
|
return next(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
return controller; |
||||||
|
} |
||||||
|
|
||||||
|
module.exports = setup; |
||||||
@ -0,0 +1,33 @@ |
|||||||
|
'use strict'; |
||||||
|
|
||||||
|
const url = require('url'); |
||||||
|
|
||||||
|
const ServiceConfiguration = require('pelias-microservice-wrapper').ServiceConfiguration; |
||||||
|
|
||||||
|
class Libpostal extends ServiceConfiguration { |
||||||
|
constructor(o, propertyExtractor) { |
||||||
|
super('libpostal', o); |
||||||
|
|
||||||
|
// save off the propertyExtractor function
|
||||||
|
// this is used to extract a single property from req. eg:
|
||||||
|
// * _.property('clean.text')
|
||||||
|
// * _.property('clean.parsed_text.address')
|
||||||
|
// will return those properties from req
|
||||||
|
this.propertyExtractor = propertyExtractor; |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
getParameters(req) { |
||||||
|
return { |
||||||
|
address: this.propertyExtractor(req) |
||||||
|
}; |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
getUrl(req) { |
||||||
|
return url.resolve(this.baseUrl, 'parse'); |
||||||
|
} |
||||||
|
|
||||||
|
} |
||||||
|
|
||||||
|
module.exports = Libpostal; |
||||||
@ -0,0 +1,440 @@ |
|||||||
|
'use strict'; |
||||||
|
|
||||||
|
const proxyquire = require('proxyquire').noCallThru(); |
||||||
|
const libpostal = require('../../../controller/structured_libpostal'); |
||||||
|
const _ = require('lodash'); |
||||||
|
const mock_logger = require('pelias-mock-logger'); |
||||||
|
|
||||||
|
module.exports.tests = {}; |
||||||
|
|
||||||
|
module.exports.tests.interface = (test, common) => { |
||||||
|
test('valid interface', (t) => { |
||||||
|
t.equal(typeof libpostal, 'function', 'libpostal is a function'); |
||||||
|
t.equal(typeof libpostal(), 'function', 'libpostal returns a controller'); |
||||||
|
t.end(); |
||||||
|
}); |
||||||
|
}; |
||||||
|
|
||||||
|
module.exports.tests.early_exit_conditions = (test, common) => { |
||||||
|
test('should_execute returning false should not call service', t => { |
||||||
|
const service = () => { |
||||||
|
t.fail('service should not have been called'); |
||||||
|
}; |
||||||
|
|
||||||
|
const should_execute = (req) => { |
||||||
|
// req and res should be passed to should_execute
|
||||||
|
t.deepEquals(req, { |
||||||
|
clean: { |
||||||
|
text: 'original query' |
||||||
|
} |
||||||
|
}); |
||||||
|
|
||||||
|
return false; |
||||||
|
}; |
||||||
|
|
||||||
|
const controller = libpostal(service, should_execute); |
||||||
|
|
||||||
|
const req = { |
||||||
|
clean: { |
||||||
|
text: 'original query' |
||||||
|
} |
||||||
|
}; |
||||||
|
|
||||||
|
controller(req, undefined, () => { |
||||||
|
t.deepEquals(req, { |
||||||
|
clean: { |
||||||
|
text: 'original query' |
||||||
|
} |
||||||
|
}, 'req should not have been modified'); |
||||||
|
|
||||||
|
t.end(); |
||||||
|
}); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}; |
||||||
|
|
||||||
|
module.exports.tests.error_conditions = (test, common) => { |
||||||
|
test('service returning error should append and not modify req.clean', t => { |
||||||
|
const service = (req, callback) => { |
||||||
|
callback('libpostal service error', []); |
||||||
|
}; |
||||||
|
|
||||||
|
const controller = libpostal(service, () => true); |
||||||
|
|
||||||
|
const req = { |
||||||
|
clean: { |
||||||
|
text: 'original query' |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}; |
||||||
|
|
||||||
|
controller(req, undefined, () => { |
||||||
|
t.deepEquals(req, { |
||||||
|
clean: { |
||||||
|
text: 'original query' |
||||||
|
}, |
||||||
|
errors: ['libpostal service error'] |
||||||
|
}, 'req should not have been modified'); |
||||||
|
|
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}; |
||||||
|
|
||||||
|
// module.exports.tests.failure_conditions = (test, common) => {
|
||||||
|
// test('service returning 2 or more of a label should return undefined and log message', t => {
|
||||||
|
// const logger = mock_logger();
|
||||||
|
//
|
||||||
|
// const service = (req, callback) => {
|
||||||
|
// const response = [
|
||||||
|
// {
|
||||||
|
// label: 'road',
|
||||||
|
// value: 'road value 1'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'city',
|
||||||
|
// value: 'city value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'road',
|
||||||
|
// value: 'road value 2'
|
||||||
|
// }
|
||||||
|
// ];
|
||||||
|
//
|
||||||
|
// callback(null, response);
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// const controller = proxyquire('../../../controller/libpostal', {
|
||||||
|
// 'pelias-logger': logger
|
||||||
|
// })(service, () => true);
|
||||||
|
//
|
||||||
|
// const req = {
|
||||||
|
// clean: {
|
||||||
|
// text: 'query value'
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// controller(req, undefined, () => {
|
||||||
|
// t.ok(logger.isWarnMessage('discarding libpostal parse of \'query value\' due to duplicate field assignments'));
|
||||||
|
//
|
||||||
|
// t.deepEquals(req, {
|
||||||
|
// clean: {
|
||||||
|
// text: 'query value'
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// }, 'req should not have been modified');
|
||||||
|
//
|
||||||
|
// t.end();
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// test('service returning empty array should not set parsed_text or parser', t => {
|
||||||
|
// const logger = mock_logger();
|
||||||
|
//
|
||||||
|
// const service = (req, callback) => {
|
||||||
|
// callback(null, []);
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// const controller = proxyquire('../../../controller/libpostal', {
|
||||||
|
// 'pelias-logger': logger
|
||||||
|
// })(service, () => true);
|
||||||
|
//
|
||||||
|
// const req = {
|
||||||
|
// clean: {
|
||||||
|
// text: 'query value'
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// controller(req, undefined, () => {
|
||||||
|
// t.deepEquals(req, {
|
||||||
|
// clean: {
|
||||||
|
// text: 'query value'
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// }, 'req should not have been modified');
|
||||||
|
//
|
||||||
|
// t.end();
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
module.exports.tests.success_conditions = (test, common) => { |
||||||
|
test('service returning house_number should set req.clean.parsed_text.', t => { |
||||||
|
const service = (req, callback) => { |
||||||
|
const response = [ |
||||||
|
{ |
||||||
|
label: 'house_number', |
||||||
|
value: 'house_number value' |
||||||
|
}, |
||||||
|
{ |
||||||
|
label: 'postcode', |
||||||
|
value: 'postcode value' |
||||||
|
} |
||||||
|
]; |
||||||
|
|
||||||
|
callback(null, response); |
||||||
|
}; |
||||||
|
|
||||||
|
const controller = libpostal(service, () => true); |
||||||
|
|
||||||
|
const req = { |
||||||
|
clean: { |
||||||
|
parsed_text: { |
||||||
|
address: 'other value house_number value street value' |
||||||
|
} |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}; |
||||||
|
|
||||||
|
controller(req, undefined, () => { |
||||||
|
t.deepEquals(req, { |
||||||
|
clean: { |
||||||
|
parsed_text: { |
||||||
|
number: 'house_number value', |
||||||
|
street: 'other value street value' |
||||||
|
} |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}, 'req should not have been modified'); |
||||||
|
|
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
test('service returning postcode should set req.clean.parsed_text.', t => { |
||||||
|
const service = (req, callback) => { |
||||||
|
const response = [ |
||||||
|
{ |
||||||
|
label: 'postcode', |
||||||
|
value: 'postcode value' |
||||||
|
} |
||||||
|
]; |
||||||
|
|
||||||
|
callback(null, response); |
||||||
|
}; |
||||||
|
|
||||||
|
const controller = libpostal(service, () => true); |
||||||
|
|
||||||
|
const req = { |
||||||
|
clean: { |
||||||
|
parsed_text: { |
||||||
|
address: 'other value postcode value street value' |
||||||
|
} |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}; |
||||||
|
|
||||||
|
controller(req, undefined, () => { |
||||||
|
t.deepEquals(req, { |
||||||
|
clean: { |
||||||
|
parsed_text: { |
||||||
|
number: 'postcode value', |
||||||
|
street: 'other value street value' |
||||||
|
} |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}, 'req should not have been modified'); |
||||||
|
|
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
test('service returning neither house_number nor postcode should not set req.clean.parsed_text.number', t => { |
||||||
|
const service = (req, callback) => { |
||||||
|
const response = [ |
||||||
|
{ |
||||||
|
label: 'city', |
||||||
|
value: 'city value' |
||||||
|
} |
||||||
|
]; |
||||||
|
|
||||||
|
callback(null, response); |
||||||
|
}; |
||||||
|
|
||||||
|
const controller = libpostal(service, () => true); |
||||||
|
|
||||||
|
const req = { |
||||||
|
clean: { |
||||||
|
parsed_text: { |
||||||
|
address: 'street value' |
||||||
|
} |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}; |
||||||
|
|
||||||
|
controller(req, undefined, () => { |
||||||
|
t.deepEquals(req, { |
||||||
|
clean: { |
||||||
|
parsed_text: { |
||||||
|
street: 'street value' |
||||||
|
} |
||||||
|
}, |
||||||
|
errors: [] |
||||||
|
}, 'req should not have been modified'); |
||||||
|
|
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
// test('service returning valid response should convert and append', t => {
|
||||||
|
// const service = (req, callback) => {
|
||||||
|
// const response = [
|
||||||
|
// {
|
||||||
|
// label: 'island',
|
||||||
|
// value: 'island value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'category',
|
||||||
|
// value: 'category value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'house',
|
||||||
|
// value: 'house value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'house_number',
|
||||||
|
// value: 'house_number value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'road',
|
||||||
|
// value: 'road value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'suburb',
|
||||||
|
// value: 'suburb value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'city_district',
|
||||||
|
// value: 'city_district value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'city',
|
||||||
|
// value: 'city value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'state_district',
|
||||||
|
// value: 'state_district value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'state',
|
||||||
|
// value: 'state value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'postcode',
|
||||||
|
// value: 'postcode value'
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// label: 'country',
|
||||||
|
// value: 'country value'
|
||||||
|
// }
|
||||||
|
// ];
|
||||||
|
//
|
||||||
|
// callback(null, response);
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// const controller = libpostal(service, () => true);
|
||||||
|
//
|
||||||
|
// const req = {
|
||||||
|
// clean: {
|
||||||
|
// text: 'original query'
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// controller(req, undefined, () => {
|
||||||
|
// t.deepEquals(req, {
|
||||||
|
// clean: {
|
||||||
|
// text: 'original query',
|
||||||
|
// parser: 'libpostal',
|
||||||
|
// parsed_text: {
|
||||||
|
// island: 'island value',
|
||||||
|
// category: 'category value',
|
||||||
|
// query: 'house value',
|
||||||
|
// number: 'house_number value',
|
||||||
|
// street: 'road value',
|
||||||
|
// neighbourhood: 'suburb value',
|
||||||
|
// borough: 'city_district value',
|
||||||
|
// city: 'city value',
|
||||||
|
// county: 'state_district value',
|
||||||
|
// state: 'state value',
|
||||||
|
// postalcode: 'postcode value',
|
||||||
|
// country: 'country value'
|
||||||
|
// }
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// }, 'req should not have been modified');
|
||||||
|
//
|
||||||
|
// t.end();
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// test('ISO-2 country should be converted to ISO-3', t => {
|
||||||
|
// const service = (req, callback) => {
|
||||||
|
// const response = [
|
||||||
|
// {
|
||||||
|
// label: 'country',
|
||||||
|
// value: 'ca'
|
||||||
|
// }
|
||||||
|
// ];
|
||||||
|
//
|
||||||
|
// callback(null, response);
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// const controller = libpostal(service, () => true);
|
||||||
|
//
|
||||||
|
// const req = {
|
||||||
|
// clean: {
|
||||||
|
// text: 'original query'
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// };
|
||||||
|
//
|
||||||
|
// controller(req, undefined, () => {
|
||||||
|
// t.deepEquals(req, {
|
||||||
|
// clean: {
|
||||||
|
// text: 'original query',
|
||||||
|
// parser: 'libpostal',
|
||||||
|
// parsed_text: {
|
||||||
|
// country: 'CAN'
|
||||||
|
// }
|
||||||
|
// },
|
||||||
|
// errors: []
|
||||||
|
// }, 'req should not have been modified');
|
||||||
|
//
|
||||||
|
// t.end();
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
// });
|
||||||
|
//
|
||||||
|
}; |
||||||
|
|
||||||
|
module.exports.all = (tape, common) => { |
||||||
|
|
||||||
|
function test(name, testFunction) { |
||||||
|
return tape(`GET /libpostal ${name}`, testFunction); |
||||||
|
} |
||||||
|
|
||||||
|
for( const testCase in module.exports.tests ){ |
||||||
|
module.exports.tests[testCase](test, common); |
||||||
|
} |
||||||
|
}; |
||||||
@ -0,0 +1,99 @@ |
|||||||
|
const Libpostal = require('../../../../service/configurations/Libpostal'); |
||||||
|
|
||||||
|
module.exports.tests = {}; |
||||||
|
|
||||||
|
module.exports.tests.all = (test, common) => { |
||||||
|
test('getName should return \'libpostal\'', (t) => { |
||||||
|
const configBlob = { |
||||||
|
url: 'http://localhost:1234', |
||||||
|
timeout: 17, |
||||||
|
retries: 19 |
||||||
|
}; |
||||||
|
|
||||||
|
const libpostal = new Libpostal(configBlob); |
||||||
|
|
||||||
|
t.equals(libpostal.getName(), 'libpostal'); |
||||||
|
t.equals(libpostal.getBaseUrl(), 'http://localhost:1234/'); |
||||||
|
t.equals(libpostal.getTimeout(), 17); |
||||||
|
t.equals(libpostal.getRetries(), 19); |
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
test('getUrl should return value passed to constructor', (t) => { |
||||||
|
const configBlob = { |
||||||
|
url: 'http://localhost:1234', |
||||||
|
timeout: 17, |
||||||
|
retries: 19 |
||||||
|
}; |
||||||
|
|
||||||
|
const libpostal = new Libpostal(configBlob); |
||||||
|
|
||||||
|
t.equals(libpostal.getUrl(), 'http://localhost:1234/parse'); |
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
test('getParameters should return object with text and lang from req', (t) => { |
||||||
|
const configBlob = { |
||||||
|
url: 'http://localhost:1234', |
||||||
|
timeout: 17, |
||||||
|
retries: 19 |
||||||
|
}; |
||||||
|
|
||||||
|
const propertyExtractor = (req) => { |
||||||
|
t.deepEquals(req, { a: 1, b: 2}); |
||||||
|
return 'property value'; |
||||||
|
}; |
||||||
|
|
||||||
|
const libpostal = new Libpostal(configBlob, propertyExtractor); |
||||||
|
|
||||||
|
const req = { |
||||||
|
a: 1, |
||||||
|
b: 2 |
||||||
|
}; |
||||||
|
|
||||||
|
t.deepEquals(libpostal.getParameters(req), { address: 'property value' }); |
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
test('getHeaders should return empty object', (t) => { |
||||||
|
const configBlob = { |
||||||
|
url: 'base url', |
||||||
|
timeout: 17, |
||||||
|
retries: 19 |
||||||
|
}; |
||||||
|
|
||||||
|
const libpostal = new Libpostal(configBlob); |
||||||
|
|
||||||
|
t.deepEquals(libpostal.getHeaders(), {}); |
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
test('baseUrl ending in / should not have double /\'s return by getUrl', (t) => { |
||||||
|
const configBlob = { |
||||||
|
url: 'http://localhost:1234/', |
||||||
|
timeout: 17, |
||||||
|
retries: 19 |
||||||
|
}; |
||||||
|
|
||||||
|
const libpostal = new Libpostal(configBlob); |
||||||
|
|
||||||
|
t.deepEquals(libpostal.getUrl(), 'http://localhost:1234/parse'); |
||||||
|
t.end(); |
||||||
|
|
||||||
|
}); |
||||||
|
|
||||||
|
}; |
||||||
|
|
||||||
|
module.exports.all = (tape, common) => { |
||||||
|
function test(name, testFunction) { |
||||||
|
return tape(`SERVICE CONFIGURATION /Libpostal ${name}`, testFunction); |
||||||
|
} |
||||||
|
|
||||||
|
for( var testCase in module.exports.tests ){ |
||||||
|
module.exports.tests[testCase](test, common); |
||||||
|
} |
||||||
|
}; |
||||||
Loading…
Reference in new issue