Project

General

Profile

« Previous | Next » 

Revision 49711

fixed bug on resolver

View differences:

modules/dnet-dli/trunk/src/test/resources/eu/dnetlib/dli/parser/InputRecordOpenaire.xml
3 3
            xmlns:dri="http://www.driver-repository.eu/namespace/dri"
4 4
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
5 5
    <oai:header>
6
        <dri:objIdentifier>openaire____::0c60962f716e732cfa4b5908a75e85c4</dri:objIdentifier>
7
        <dri:recordIdentifier>oai:dnet:datacite____::f328cfb327279e3d2df968a217cb099a</dri:recordIdentifier>
8
        <dri:dateOfCollection>2017-03-30T10:59:34.321+02:00</dri:dateOfCollection>
9
        <dri:repositoryId>openaire_UmVwb3NpdG9yeVNlcnZpY2VSZXNvdXJjZXMvUmVwb3NpdG9yeVNlcnZpY2VSZXNvdXJjZVR5cGU=
10
        </dri:repositoryId>
6
        <dri:objIdentifier>openaire____::32357bd4e066468dde63662d3b2d0b61</dri:objIdentifier>
7
        <dri:recordIdentifier>oai:dnet:datacite____::1dadbf1f2ae6a889d2f75827b7b7f89e</dri:recordIdentifier>
8
        <dri:dateOfCollection>2017-10-25T18:58:18.31+02:00</dri:dateOfCollection>
9
        <dri:repositoryId>openaire_UmVwb3NpdG9yeVNlcnZpY2VSZXNvdXJjZXMvUmVwb3NpdG9yeVNlcnZpY2VSZXNvdXJjZVR5cGU=</dri:repositoryId>
11 10
        <dri:datasourceprefix>openaire____</dri:datasourceprefix>
12
        <oai:identifier>oai:dnet:datacite____::f328cfb327279e3d2df968a217cb099a</oai:identifier>
13
        <oai:datestamp>2017-03-16T10:09:22Z</oai:datestamp>
11
        <oai:identifier>oai:dnet:datacite____::1dadbf1f2ae6a889d2f75827b7b7f89e</oai:identifier>
12
        <oai:datestamp>2017-07-25T17:53:10Z</oai:datestamp>
13
        <oai:setSpec>openaire_data</oai:setSpec>
14
        <oai:setSpec>DSpace_at_University_Leiden</oai:setSpec>
14 15
        <oai:setSpec>Datacite</oai:setSpec>
15
        <oai:setSpec>openaire_data</oai:setSpec>
16 16
        <oai:setSpec>Datacite_enriched</oai:setSpec>
17
        <oai:setSpec>DSpace_at_University_Leiden_enriched</oai:setSpec>
18
        <oai:setSpec>NARCIS</oai:setSpec>
19
        <oai:setSpec>NARCIS_enriched</oai:setSpec>
17 20
    </oai:header>
18 21
    <oai:metadata>
19 22
        <datacite:resource xmlns:datacite="http://datacite.org/schema/kernel-3"
20 23
                           xsi:schemaLocation="http://datacite.org/schema/kernel-3 http://schema.datacite.org/meta/kernel-3/metadata.xsd">
21
            <datacite:publicationYear>2015</datacite:publicationYear>
22
            <datacite:publisher>Figshare</datacite:publisher>
23
            <datacite:resourceType resourceTypeGeneral="Collection"/>
24
            <datacite:publicationYear>1983</datacite:publicationYear>
25
            <datacite:publisher>GESIS Data Archive</datacite:publisher>
26
            <datacite:version>1.0.0</datacite:version>
24 27
            <datacite:rightsList>
25
                <datacite:rights rightsURI="info:eu-repo/semantics/openAccess">Open Access</datacite:rights>
28
                <datacite:rights rightsURI="info:eu-repo/semantics/unknownAccess">not available</datacite:rights>
26 29
            </datacite:rightsList>
27 30
            <datacite:creators>
28 31
                <datacite:creator>
29
                    <datacite:creatorName>Rajiv Kumar Kar</datacite:creatorName>
32
                    <datacite:creatorName>Allerbeck, Klaus R.</datacite:creatorName>
30 33
                </datacite:creator>
31 34
                <datacite:creator>
32
                    <datacite:creatorName>Priyanka Suryadevara</datacite:creatorName>
35
                    <datacite:creatorName>Thomassen, Jacques J.A.</datacite:creatorName>
33 36
                </datacite:creator>
34 37
                <datacite:creator>
35
                    <datacite:creatorName>Jagannath Jana</datacite:creatorName>
38
                    <datacite:creatorName>Stouthard, Philip C.</datacite:creatorName>
36 39
                </datacite:creator>
37 40
                <datacite:creator>
38
                    <datacite:creatorName>Anirban Bhunia</datacite:creatorName>
41
                    <datacite:creatorName>Barnes, Samuel H.</datacite:creatorName>
39 42
                </datacite:creator>
40 43
                <datacite:creator>
41
                    <datacite:creatorName>Subhrangsu Chatterjee</datacite:creatorName>
44
                    <datacite:creatorName>van Deth, Jan W.</datacite:creatorName>
42 45
                </datacite:creator>
46
                <datacite:creator>
47
                    <datacite:creatorName>Farah, Babrabara G.</datacite:creatorName>
48
                </datacite:creator>
49
                <datacite:creator>
50
                    <datacite:creatorName>Heunks, Felix J.</datacite:creatorName>
51
                </datacite:creator>
52
                <datacite:creator>
53
                    <datacite:creatorName>Inglehart, Ronald</datacite:creatorName>
54
                </datacite:creator>
55
                <datacite:creator>
56
                    <datacite:creatorName>Jennings, M. Kent</datacite:creatorName>
57
                </datacite:creator>
58
                <datacite:creator>
59
                    <datacite:creatorName>KAASE, Max</datacite:creatorName>
60
                </datacite:creator>
61
                <datacite:creator>
62
                    <datacite:creatorName>Klingemann, Hans-Dieter</datacite:creatorName>
63
                </datacite:creator>
43 64
            </datacite:creators>
44 65
            <datacite:contributors/>
45 66
            <datacite:relatedIdentifiers>
46 67
                <relatedIdentifier xmlns:oaf="http://namespace.dnet.eu/oaf" inverseRelationType="references"
47 68
                                   relatedIdentifierType="openaire"
48
                                   relationType="isReferencedBy">oai:dnet:od_______908::51f0166adeda1b5b05a5313fd670e8e4
49
                </relatedIdentifier>
69
                                   relationType="isReferencedBy">oai:dnet:dedup_wf_001::629cd93c6e6afc6672f61386ddb52a52</relatedIdentifier>
70
                <relatedIdentifier xmlns:oaf="http://namespace.dnet.eu/oaf" inverseRelationType="references"
71
                                   relatedIdentifierType="openaire"
72
                                   relationType="isReferencedBy">oai:dnet:dedup_wf_001::dad64fd4e4a0edb8191a21bafa5ca031</relatedIdentifier>
73
                <relatedIdentifier xmlns:oaf="http://namespace.dnet.eu/oaf" inverseRelationType="references"
74
                                   relatedIdentifierType="openaire"
75
                                   relationType="isReferencedBy">oai:dnet:dedup_wf_001::9ff3700e015544e1065e90f727928ad2</relatedIdentifier>
50 76
            </datacite:relatedIdentifiers>
51
            <datacite:resourceType resourceTypeGeneral="Collection"/>
52
            <datacite:identifier identifierType="URL">http://dx.doi.org/10.6084/M9.FIGSHARE.C.1888685.V1
53
            </datacite:identifier>
77
            <datacite:resourceType resourceTypeGeneral="Dataset"/>
78
            <datacite:identifier identifierType="URL">http://dx.doi.org/10.4232/1.1188</datacite:identifier>
54 79
            <datacite:alternateIdentifiers>
55
                <datacite:alternateIdentifier alternateIdentifierType="doi">10.6084/M9.FIGSHARE.C.1888685.V1
56
                </datacite:alternateIdentifier>
57
                <datacite:alternateIdentifier>10.6084/M9.FIGSHARE.C.1888685.V1</datacite:alternateIdentifier>
58
                <datacite:alternateIdentifier>http://dx.doi.org/10.6084/M9.FIGSHARE.C.1888685.V1
59
                </datacite:alternateIdentifier>
80
                <datacite:alternateIdentifier alternateIdentifierType="doi">10.4232/1.1188</datacite:alternateIdentifier>
81
                <datacite:alternateIdentifier alternateIdentifierType="za-no.">ZA1188</datacite:alternateIdentifier>
82
                <datacite:alternateIdentifier>10.4232/1.1188</datacite:alternateIdentifier>
83
                <datacite:alternateIdentifier>ZA1188</datacite:alternateIdentifier>
84
                <datacite:alternateIdentifier>http://dx.doi.org/10.4232/1.1188</datacite:alternateIdentifier>
60 85
            </datacite:alternateIdentifiers>
61 86
            <datacite:titles>
62
                <datacite:title>Novel G-quadruplex stabilizing agents: in-silico approach and dynamics</datacite:title>
87
                <datacite:title>Political Action II</datacite:title>
63 88
            </datacite:titles>
64
            <datacite:descriptions/>
65
            <datacite:subjects/>
89
            <datacite:descriptions>
90
                <datacite:description descriptionType="Abstract">Strukturen und Determinanten politischer Beteiligung und politischer Ideologie. Themen: Einschätzung des derzeitigen, früheren und zukünftigen materiellen Lebensstandards; Lebenszufriedenheit; eigene Alltagsprobleme und größtes derzeitiges Problem; eigene Fähigkeit zur Problemlösung; Organisationen, staatliche Institutionen oder Parteien als perzipierte Lösungsinstanzen; politisches Interesse; Wahrnehmung über- bzw. unterprivilegierter Gruppen; Einstellung zur Terrorismusbekämpfung auf Kosten der individuellen Freiheit, zur Kernenergie, zur sozialen Gleichheit, zur gesellschaftlichen Gleichstellung der Geschlechter, zur Ausweitung der staatlichen Einflußsphäre in Wirtschaft und Gesellschaft, zum Schwangerschaftsabbruch und zum Umweltschutz; Einstellung zur Veränderung der Gesellschaft; Bereitschaft zu politischen Aktivitäten auf lokaler und nationaler Ebene (Almond-Verba-Aktivitätsindex); Selbsteinschätzung auf einem Links-Rechts-Kontinuum; Links-Rechts-Verständnis; Postmaterialismus (zwei Index-Versionen); Bewertung der staatlichen Aufgabenerfüllung in den Bereichen der Altenfürsorge, der Gleichberechtigung, der Arbeitsmarktpolitik, der Ausbildung, der medizinischen Versorgung, der Wohnungspolitik, des Umweltschutzes, der Kriminalitätsbekämpfung, der Minderheitenpolitik, des Ausgleichs sozialer Ungleichheit, der Inflationsbekämpfung und der Energieversorgung; Einstufung der Wichtigkeit dieser Probleme; gute und schlechte Seiten der Parteien; Sympathie-Skalometer für gesellschaftliche Gruppierungen, Organisationen und Parteien sowie für das politische System; Einstellung zur derzeitigen Regierung und zum politischen System; Einstellung zu ausgewählten politischen Protestformen; politische Partizipation; Zeitpunkt, Ziele und Initiator des Protests; Einstellung zu staatlicher Repression gegen Protestmaßnahmen; Parteiidentifikation; Wahlverhalten bei der letzten und Wahlabsicht bei der kommenden nationalen Wahl; Umfang, Zeitpunkt, Ziele und Initiator eigener politischer Aktivitäten; Einschätzung politischer Wirksamkeit und Gefühl der politischen Repräsentiertheit; Einstellung zum Jugendprotest; Beeinflussung der Regierung durch die Interessen der Mächtigen; Vertrauen in die Regierung; Geburtsmonat und Geburtsjahr; Beschreibung der finanziellen und familiären Situation im Elternhaus während der eigenen Kindheit und Jugendzeit; soziale Herkunft; Parteipräferenz der Eltern; Einschätzung der eigenen Schichtzugehörigkeit; Vorgesetztenfunktion am Arbeitsplatz; Arbeitslosigkeit und Einschätzung der eigenen Arbeitsplatzsicherheit; Gewerkschaftsmitgliedschaft und Beteiligung an Gewerkschaftsversammlungen; Mitgliedschaften. Demographie: Alter; Geschlecht; Familienstand; Religiosität; Kirchgangshäufigkeit; Berufstätigkeit; Einkommen; Haushaltseinkommen; Haushaltsgröße; Befragter ist Haushaltsvorstand; Parteipräferenz; Wahlverhalten bei der letzten Wahl; Urbanisierungsgrad. Interviewerrating: Einschätzung der ethnischen Gruppenzugehörigkeit; Anwesenheit Dritter beim Interview und Häufigkeit der Eingriffe in das Interview; Kooperationsbereitschaft und Zuverlässigkeit des Befragten; Haustyp; Interviewdatum; Interviewdauer; Interviewer-Identifikation; Ortsgröße. Indizes: Konventionelle politische Partizipation; Protestbereitschaft und Protestaktivitäten; Protestpotential; Repressionspotential; Typologie politischer Partizipation und politischer Aktivität; ideologisches Denken; Links-Rechts-Verständnis; Niveau der ideologischen Konzeptionalisierung; Postmaterialismus-Index; politische Effizienz; politisches Vertrauen; Systemreaktionsbereitschaft; Links-Rechts-Wahlverhalten; Links-Rechts-Parteipräferenz; Wahl und Parteipräferenz für Regierungs- oder Oppositionspartei; Parteiidentifikation; Erwartungen an die Jugend; Dimension der Parteiorientierung und der gesellschaftlichen Orientierung; Wahrnehmung von Gruppenprivilegien; Bildung.</datacite:description>
91
                <datacite:description descriptionType="Abstract">Structures and determinants of political participation and political ideology. Topics: assessment of current, earlier and future material standard of living; contentment with life; personal problems in daily life and greatest current problem; personal ability to solve problems; organization, government institutions or parties as perceived solution authorities; political interest; perception of over- or underprivileged groups; attitude to the fight against terrorism at the cost of individual freedom, to nuclear energy, social equality, social equal status for the sexes, extension of the government sphere of influence in economy and society, abortion and environmental protection; attitude to change of society; readiness for political activities at local and national level (Almond-Verba activity index); self-assessment on a left-right continuum; left-right understanding; postmaterialism (two index versions); evaluation of government task fulfillment in the areas of care for old people, equal rights, job market policies, instruction, medical care, housing policies, environmental protection, the fight against crime, policies on minorities, balance of social inequality, fighting inflation and provision of energy; classification of the importance of these problems; good and bad sides of the parties; sympathy scale for social groupings, organizations and parties as well as for the political system; attitude to the current government and the political system; attitude to selected political forms of protest; political participation; point in time, goals and initiator of the protest; attitude to government repression against protest measures; party identification; behavior at the polls in the last and voting intent in the coming national election; extent, point in time, goals and initiator of personal political activities; assessment of political effectiveness and feeling of political representation; attitude to youth protest; influence on the government through interests of the powerful; trust in the government; month and year of birth; description of financial and family situation in parental home during personal childhood and youth; social origins; party preference of parents; assessment of personal social class; superior function at work; unemployment and assessment of personal job security; union membership and participation in trade union meetings; memberships. Demography: age; sex; marital status; religiousness; frequency of church attendance; employment; income; household income; household size; respondent is head of household; party preference; voting behavior at the last election; degree of urbanization; Interviewer rating: assessment of ethnic group affiliation; presence of third persons during interview and frequency of intervention in the interview; reliability and willingness of respondent to cooperate; type of building; date of interview; length of interview; interviewer identification; city size. Indices: conventional political participation; protest readiness and protest activities; protest potential; repression potential; typology of political participation and political activity; ideological thinking; left-right understanding; level of ideological conceptionalization; postmaterialism index; political efficiency; political trust; readiness to react to the system; left-right behavior at the polls; left-right party preference; election and party preference for government or opposition party; party identification; expectations of the youth; dimension of party orientation and social orientation; perception of group privileges; education.</datacite:description>
92
            </datacite:descriptions>
93
            <datacite:subjects>
94
                <datacite:subject>KAT15 Political Attitudes and Behavior</datacite:subject>
95
            </datacite:subjects>
66 96
            <datacite:dates>
67
                <datacite:date dateType="Issued">2015-01-01</datacite:date>
97
                <datacite:date dateType="Issued">1983-01-01</datacite:date>
68 98
            </datacite:dates>
69 99
            <datacite:sizes/>
70 100
        </datacite:resource>
71 101
    </oai:metadata>
72 102
    <oaf:about xmlns:oaf="http://namespace.dnet.eu/oaf">
73 103
        <oaf:datainfo>
74
            <oaf:collectedFrom completionStatus="complete" id="dli_________::openaire" name="OpenAIRE"/>
104
            <oaf:collectedFrom completionStatus="complete" id="" name="OpenAIRE Bootstrap"/>
75 105
            <oaf:completionStatus>complete</oaf:completionStatus>
76 106
            <oaf:provisionMode>collected</oaf:provisionMode>
77 107
        </oaf:datainfo>
modules/dnet-dli/trunk/src/main/java/eu/dnetlib/dli/resolver/CrossRefParserJSON.java
54 54
			currentObject.setDate(message.getAsJsonObject("created").get("date-time").getAsString());
55 55
		}
56 56

  
57
		if (!message.get("title").isJsonNull()) {
57
		if (message.get("title")!= null && !message.get("title").isJsonNull()) {
58 58
			currentObject.setTitles(Lists.newArrayList(message.get("title").toString().replace("[", "").replace("]", "")));
59 59
		}
60 60

  
modules/dnet-dli/trunk/src/main/resources/eu/dnetlib/dli/resolver/applicationContext-dli-resolver.xml
15 15
	      p:cacheManager-ref="dliCacheManager" p:cacheName="dliResolverCache"/>
16 16

  
17 17

  
18
    <bean id="pubmedResolver" class="eu.dnetlib.dli.resolver.PubMedResolver" p:order="0" p:availableOffline="false">
18
    <bean id="pubmedResolver" class="eu.dnetlib.dli.resolver.PubMedResolver" p:order="1" p:availableOffline="false">
19 19
		<property name="cache" ref="dliResolverCache"/>
20 20
	</bean>
21 21

  
......
42 42
		<property name="cache" ref="dliResolverCache"/>
43 43
	</bean>
44 44

  
45
    <bean id="dataciteResolver" class="eu.dnetlib.dli.resolver.DataciteResolver" p:order="0" p:availableOffline="false">
45
    <bean id="dataciteResolver" class="eu.dnetlib.dli.resolver.DataciteResolver" p:order="3" p:availableOffline="false">
46 46
		<property name="cache" ref="dliResolverCache"/>
47 47
	</bean>
48 48

  
49
    <bean id="ncbinResolver" class="eu.dnetlib.dli.resolver.NCBINResolver" p:order="0" p:availableOffline="false">
49
    <bean id="ncbinResolver" class="eu.dnetlib.dli.resolver.NCBINResolver" p:order="4" p:availableOffline="false">
50 50
		<property name="cache" ref="dliResolverCache"/>
51 51
	</bean>
52 52

  
modules/dnet-dli-domain/trunk/src/main/java/eu/dnetlib/dli/resolver/model/DLIResolvedObject.java
7 7
import eu.dnetlib.pid.resolver.model.*;
8 8
import org.apache.commons.lang3.StringEscapeUtils;
9 9
import org.apache.commons.lang3.StringUtils;
10
import org.apache.commons.logging.Log;
11
import org.apache.commons.logging.LogFactory;
10 12

  
11 13
import java.util.ArrayList;
12 14
import java.util.List;
......
16 18
 * The Class DLIObject.
17 19
 */
18 20
public class DLIResolvedObject extends AbstractResolvedObject {
21
	private static final Log log = LogFactory.getLog(DLIResolvedObject.class);
19 22

  
20 23
	/**
21 24
	 * The titles.
......
71 74
	 * Instantiates a new DLI object.
72 75
	 */
73 76

  
74

  
75 77
	private static final DLIResolvedObjectDeserializer deserializer = new DLIResolvedObjectDeserializer();
76 78

  
77 79
	public static DLIResolvedObject fromJson(final String json) {
78
		return new GsonBuilder().registerTypeAdapter(DLIResolvedObject.class,deserializer ).create().fromJson(json, DLIResolvedObject.class);
79

  
80
		try {
81
			return new GsonBuilder().registerTypeAdapter(DLIResolvedObject.class,deserializer ).create().fromJson(json, DLIResolvedObject.class);
82
		} catch (Throwable e) {
83
			log.error("ERROR on parsing "+json);
84
			return null;
85
		}
80 86
	}
81 87

  
82 88
	public DLIResolvedObject() {
modules/dnet-dli-domain/trunk/src/main/java/eu/dnetlib/dli/proto/DNGFDLISummaryConverter.java
5 5

  
6 6
import com.googlecode.protobuf.format.JsonFormat;
7 7
import eu.dnetlib.data.proto.*;
8
import eu.dnetlib.data.proto.DliFieldTypeProtos;
9
import eu.dnetlib.data.proto.DliProtos;
8 10
import eu.dnetlib.data.proto.dli.DLIObjectProtos;
9 11

  
10 12
import static eu.dnetlib.data.proto.dli.DLIObjectProtos.DLIObjectSummary;
modules/dnet-pid-resolver/trunk/src/main/java/eu/dnetlib/pid/resolver/mdstore/plugin/ResolverMDStorePlugin.java
21 21
import org.bson.conversions.Bson;
22 22
import org.springframework.beans.factory.annotation.Autowired;
23 23

  
24
import java.util.ArrayList;
25
import java.util.List;
26
import java.util.Map;
27
import java.util.Objects;
24
import java.util.*;
28 25
import java.util.concurrent.*;
29 26

  
30 27
import static com.mongodb.client.model.Filters.eq;
......
118 115

  
119 116
            final long ts = System.currentTimeMillis();
120 117

  
121
            for (int i = 0; i < numberOfThreads; i++) {
118

  
119
			Collections.sort(pluginResolver);
120

  
121
			for (int i = 0; i < numberOfThreads; i++) {
122 122
				final RecordResolver resolver = recordResolverFactory.createResolver(ts, queue, resolvedRecord, resolverSerializer, pluginResolver, offline);
123 123
				responses.add(executor.submit(resolver));
124 124
			}

Also available in: Unified diff