get text from url list to csv - csv

Question

i need retrieve text from url list.
I have csv (about 150 000 rows) with ID and URL. On this URL is just plain text without HTML code.
I need write this text to csv with ID from input csv.
Its this possible with wget for example?
Input CSV
9788075020536|http://pemic-books.cz/ASPX/Annotation.aspx?kod=0180853
Output CSV
9788075020536|Učebnice je dílem kolektivu autorů katedry ústavního práva Právnické fakulty Univerzity Karlovy v Praze a externích spolupracovníků. V souladu s tradičním pojetím ústavního práva je obecná státověda podávána jako jeho vstupní a neoddělitelná součást. Kniha je reprintem původního vydání z roku 1998, v nakladatelství Leges vychází poprvé. Na učebnici navazuje Ústavní právo a státověda, 2. díl, Ústavní právo České republiky, který byl vydání nakladatelstvím Leges v roce 2011

Answer 1

Suppose you have the following columns
curlcsv file contents:
0001|columnbefore1|https://www.random.org/integers/?num=1&min=1&max=2&col=1&base=10&format=plain&rnd=new|columnafter1
0002|columnbefore2|https://www.random.org/integers/?num=1&min=3&max=4&col=1&base=10&format=plain&rnd=new|columnafter2
0003|columnbefore3|https://www.random.org/integers/?num=1&min=5&max=6&col=1&base=10&format=plain&rnd=new|columnafter3
Here are the "one-liners" you could use:
gawk:
gawk ' {
match($0, /^(([^|]+[|]){2})([^|]+)([|][^|]+)*$/, arr);
req = "curl -s \""arr[3]"\"";
req | getline res;
print arr[1]""res""arr[4];
}
' curlcsv >result
/^(([^|]+[|]){2}) - 2 here means skip 2 columns (in your case skip 1 column)
([^|]+) - get the contents of the url column
([|][^|]+)* - save the rest column values
result file would look like this:
0001|columnbefore1|2|columnafter1
0002|columnbefore2|3|columnafter2
0003|columnbefore3|5|columnafter3
this approach would hit limits on open files (see JaromírHeimlich comment below)
solution to this limitation problem could be:
split -l 100 curlcsv && ls | grep -v curlcsv | xargs -n 1 gawk ' {
match($0, /^(([^|]+[|]){2})([^|]+)([|][^|]+)*$/, arr);
req = "curl -s \""arr[3]"\"";
req | getline res;
print arr[1]""res""arr[4];
}
' >>../result
place curlcsv to an empty folder since split would create a lot of partial lists in that directory.
sed:
cat curlcsv | sed -e 's/^\(\([^|]\+[|]\)\{2\}\)\([^|]\+\)\([|][^|]\+\)*$/echo "\1"$(curl -s "\3")"\4"/' | bash >result
/^(([^|]+[|]){2}) - 2 here means skip 2 columns (in your case skip 1 column)
In this example sed constructs the bash script to get the result.
Since this solution generates bash commands, it doesn't have the limitation problem of the gawk solution.