20130726-fi-space-problem
<< | Index | >>
Summary
- fix space problem in fachinfo
- running Exporter.new(self).export_doc_csv leads to
connect(2)>error
Commits
- https://github.com/ngiger/oddb.org/commit/d03a00740ac986b7e537adf0490580dfff550b84 Added new tests. xmllint on fi*.html
- https://github.com/ngiger/oddb.org/commit/acc864446bbf5505c2bf0beddfc009595e2d9c0e Fix problem with spaces and spans in FI
Index
- fix space problem in fachinfo
- why does export_daily not work on my vm
- running Exporter.new(self).export_doc_csv leads to
connect(2)>error - Create a new GnuPG key
/bin/bash: line 1: 11308 Aborted /var/www/oddb.org/jobs/import_daily > /dev/null 2>&1
fix space problem in fachinfo
Must also catch the following errors in Isentress:
O</span></span><span class="s7"><span>rangeHydroxypropylc</span></span><span class="s8"><span>elluloseC</span></span><span class="s8"><span>rospovidon
In Cipralex
<span style="font-style:italic; ">Schmelztabletten:</span> Escitalopramum.</p> <div class="untertitle"> <span style="font-style:italic; ">Hilfsstoffe</span> </div>
Must lead to to a new line after Schmelztabletten.
<span style="font-style:italic; ">Filmtabletten zu 5 mg, 10 mg, 15 mg und 20 mg Escitalopram</span> </div> <div class="untertitle1"> <span style="font-style:italic; ">Aussehen der Filmtabletten</span> </div>
Must lead to to a new line after Escitalopram.
Updated test-case see commit Added new tests. xmllint on fi*.html
Now running the ruby ext/fiparse/test/test_fachinfo_hpricot.rb we get
1) Failure: test_galenic_form(ODDB::FiParse::TestFachinfoHpricot_32917_Zyloric_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:238]: <"Galenische Form und Wirkstoffmenge pro Einheit\nTabletten zu 100 mg und 300 mg.\n "> expected but was <"Galenische Form und Wirkstoffmenge pro Einheit\nTabletten zu 100 mg und 300 mg .\n ">. 2) Failure: test_galenic_form(ODDB::FiParse::TestFachinfoHpricot_58106_Finasterid_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:321]: <"Galenische Form und Wirkstoffmenge pro Einheit\nFilmtabletten zu 5 mg Finasterid.\n "> expected but was <"Galenische Form und Wirkstoffmenge pro Einheit\nFilmt abletten zu 5 mg Finasterid .\n ">. 3) Failure: test_composition_isentres(ODDB::FiParse::TestFachinfoHpricot_58267_Isentres_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:593]: <"Wirkstoff: Raltegravir\nHilfsstoffe:\nFilmtablette:\nKern: mikrokristalline Cellulose, Lactose-Monohydrat, wasserfreies Calciumhydrogenphosphat, Hypromellose 2208, Poloxamer 407 (enthält 0,01% butyliertes Hydroxytoluol als Antioxidationsmittel, E 321), Natriumstearylfumarat, Magnesiumstearat.\nFilmüberzug: Polyvinylalkohol, Titandioxid, Polyethylenglykol 3350,\nTalkum, rotes Eisenoxid und schwarzes Eisenoxid.\nKautablette: Hydroxypropylcellulose, Sucralose, Saccharin-Natrium, Natriumzitratdihydrat, Mannitol, rotes Eisenoxid (nur bei 100 mg Dosierung), gelbes Eisenoxid, Monoammoniumglycyrrhizinat, Sorbitol, Fructose, natürliche und künstliche Aromen (Orange, Banane, und Maskierung, die Aspartam enthält), Crospovidon, Magen\n"> expected but was <"Zusammensetzung\nWirkstoff: Raltegravir\nHilfsstoffe:\nFilmtablette: \nKern: mikrokristalline Cellulose, Lactose-Monohydrat, wasserfreies Calc ium hydrogenphosphat, Hypromellose 2208 , Poloxamer 407 (enthält 0,01 % butyliertes Hydroxytoluol als Antioxidationsmittel , E 321 ), Natriumstearylfumarat, Magnesiumstearat.\nFilmüberzug : Polyvinylalkohol, Titan dioxid, Polyethylenglykol 3350,\nTalkum, rotes Eisenoxid und schwarzes Eisenoxid.\nKautablette: Hydroxypropylc ellulose , S ucralose, S accharin -Natrium , Natriumzitrat dihydrat , M annitol, rotes Eisenoxid ( nur bei 100 mg Dosierung ), gelbes Eisenoxid , M onoammonium glycyrrhizinat, S orbitol, F ructose, natürliche und künstliche Aromen ( O range, Banane, und Maskierung , die Aspartam enthält ), C rospovidon , M agnesiumstearat, Natrium stearylfumarat , E thylcellulose 20 cP, Ammonium hydroxid, mittelkettige Triglyceride , Ölsäure, H ypromellose 2910/6 cP, M acrogol/PEG 400.\n ">. 4) Failure: test_galenic_form(ODDB::FiParse::TestFachinfoHpricot_58267_Isentres_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:583]: <"Eine Filmtablette enthält 400 mg Raltegravir als Raltegravir-Kalium.\nEine Kautablette enthält 100 mg (mit Bruchrille) oder 25 mg Raltegravir als Raltegravir-Kalium."> expected but was <"Galenische Form und Wirkstoffmenge pro Einheit\nE ine Filmtablette enthält 400 mg Raltegravir als Raltegravir-Kalium .\nEine Kautablette enthält 100 mg ( mit Bruchrille) oder 25 mg Raltegravir als Raltegravir-Kalium .\n ">. 5) Failure: test_iksnrs(ODDB::FiParse::TestFachinfoHpricot_58267_Isentres_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:600]: <"Zulassungsnummer\n58267, 62946 (Swissmedic)\n"> expected but was <"Zulassungsnummer\n58267, 62946(Swissmedic)\n ">. 6) Failure: test_galenic_form(ODDB::FiParse::TestFachinfoHpricot_62184_Cipralex_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:546]: <"Galenische Form und Wirkstoffmenge pro Einheit\nFilmtabletten zu 5 mg, 10 mg, 15 mg und 20 mg Escitalopram\nAussehen der Filmtabletten\n5 mg: rund, weiss; Aufdruck: EK\n10 mg: oval, weiss, mit Bruchrille; Aufdruck: EL\n15 mg: oval, weiss; mit Bruchrille; Aufdruck: EM\n20 mg: oval, weiss; mit Bruchrille; Aufdruck: ENSchmelztabletten zu 10 mg und 20 mg Escitalopram.Aussehen der Schmelztabletten\n10 mg: rund, weiss bis cremefarben, leicht gesprenkelt; Aufdruck ELO\n20 mg: rund, weiss bis cremefarben, leicht gesprenkelt; Aufdruck ENOTropfen mit 10 mg/ml Escitalopram, 1 ml corresp. 20 Tropfen corresp. 10 mg Escitalopram.Tropfen mit 20 mg/ml Escitalopram, 1 ml corresp. 20 Tropfen corresp. 20 mg Escitalopram und enthält 12% vol. Alkohol.Aussehen und Geschmack der Tropflösung\nKlare, farblos bis gelbliche Lösung von bitterem Geschmack."> expected but was <"">. 7) Failure: test_iksnrs(ODDB::FiParse::TestFachinfoHpricot_62184_Cipralex_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:519]: <"Zulassungsnummer\n62184, 56366, 62184 (Swissmedic).\n "> expected but was <"">. 8) Failure: test_zusammenssetzung(ODDB::FiParse::TestFachinfoHpricot_62184_Cipralex_De) [ext/fiparse/test/test_fachinfo_hpricot.rb:532]: <"Wirkstoff\nFilmtabletten, Tropfen: Escitalopramum ut escitaloprami oxalas.\nSchmelztabletten: Escitalopramum.\nHilfsstoffe\nFilmtabletten: Cellulosum microcristallinum, Silica colloidalis anhydrica, Talcum, Carmellosum natricum conexum, Magnesii stearas, Hypromellose, Macrogolum 400, Color: Titanii dioxidum (E171).\nSchmelztabletten: Cellulosum microcristallinum, Hypromellosum, Copolymerum methacrylatis butylati basicum, Magnesii stearas, Mannitolum, Crospovidonum, Natrii hydrogencarbonas, Acidum citricum anhydricum, Aromatica, Sucralosum.\nTropfen (10 mg/ml): Natrii hydroxidum, Aqua.\nTropfen (20 mg/ml): Acidum Citricum anhydricum, Ethanolum, Natrii hydroxidum, Aqua, Antiox.: E310.\n "> expected but was <"">. 67 tests, 144 assertions, 8 failures, 0 errors, 0 skips
The space problem was resolved by changing the implementation of text in textinfo_hpricot. The stripping is only needed for the patinfo. Also substitue a UTF-8 code for space with a normal space character.
Remark that Cipralex return '' on a call to @fachinfo.composition. Examining the differences for iksnrs.
We have no problems parsing e.g. isentress where the heading is a separte html entity.
<p class="s4" id="section17"><span class="s44"><span>Zulassungsnummer</span></span></p> <p class="s4"><span class="s48"><span>58267</span></span><span class="s48"><span>, 62946</span></span><span class="s48"><span> (Swissmedic)</span></span></p> <p class="s4"> </p>
In the case of cypralex however the whole section is on one HTML @<p>@
<div class="paragraph" id="Section7750">
<div class="absTitle">Zulassungsnummer</div>
<p class="noSpacing">55961, 56366, 62184 (Swissmedic).</p>
</div>
Delete 3 swissmedic-FI (58267,62184,32917) using reg = @system.registration('58267'); delete reg.fachinfo.pointer; update reg.pointer, :fachinfo => nil.
Deleted corresponding patinfo, too. Rerun import.
Isentress looks good see 
. Cipralex still has the problems (as expected)
Pushed the commit Fix problem with spaces and spans in FI
TODO: Fix the Cipralex to split the chapter correctly into heading and text.
running Exporter.new(self).export_doc_csv leads to connect(2)> error
The error is still present on thinpower.
why does export_daily not work on my vm
It seems that my definition in the crontab is wrong. I got the following error
/bin/bash: line 1: 11308 Aborted /var/www/oddb.org/jobs/import_daily > /dev/null 2>&1
Create a new GnuPG key
my public key