WedX - журнал о программировании и компьютерных науках

Как читать сжатую HTML-страницу с Content-Encoding: gzip

Я запрашиваю веб-страницу, которая отправляет заголовок Content-Encoding: gzip, но не могу его прочитать ...

Мой код:

    try {
        URLConnection connection = new URL("https://jquery.org").openConnection();                        
        String html = "";
        BufferedReader in = null;
        connection.setReadTimeout(10000);
    in = new BufferedReader(new InputStreamReader(connection.getInputStream()));            
    String inputLine;
    while ((inputLine = in.readLine()) != null){
    html+=inputLine+"\n";
        }
    in.close();
        System.out.println(html);
        System.exit(0);
    } catch (IOException ex) {
        Logger.getLogger(Crawler.class.getName()).log(Level.SEVERE, null, ex);
    }

Результат выглядит очень запутанным .. (мне не удалось вставить сюда какие-то символы ..)

Я считаю, что это сжатый контент, как его разобрать?

Примечание.
Если я изменю jquery.org на jquery.com (который не отправляет этот заголовок, мой код работает нормально)

java gzipinputstream
19.06.2012

Ответы:


1

Для этого есть класс: GZIPInputStream. Это InputStream, поэтому его очень легко использовать.

19.06.2012
  • Чтобы заставить его работать в обоих случаях, вам нужно посмотреть на возвращаемый заголовок Content-Encoding. Если его значение - gzip, вам следует использовать GZipInputStream, в противном случае - нет. 19.06.2012

    • 2

    Собственно, это ответ pb2q, но я публикую полный код для будущих читателей.

    try {
    URLConnection connection = new URL("https://jquery.org").openConnection();                        
    String html = "";
    BufferedReader in = null;
    connection.setReadTimeout(10000);
    //The changed part
    if (connection.getHeaderField("Content-Encoding")!=null && connection.getHeaderField("Content-Encoding").equals("gzip")){
        in = new BufferedReader(new InputStreamReader(new GZIPInputStream(connection.getInputStream())));            
    } else {
        in = new BufferedReader(new InputStreamReader(connection.getInputStream()));            
    }     
    //End        
    String inputLine;
    while ((inputLine = in.readLine()) != null){
    html+=inputLine+"\n";
    }
in.close();
    System.out.println(html);
    System.exit(0);
} catch (IOException ex) {
    Logger.getLogger(Crawler.class.getName()).log(Level.SEVERE, null, ex);
}
    19.06.2012
  • Работал у меня. Чтобы добавить к этому, сжатая форма также может быть x-gzip. Но спасибо большое. 26.05.2013

    • 3

    есть два случая с Content-Encoding: заголовок gzip

    1. если данные уже сжаты (приложением), заголовок Content-Encoding: gizp вызовет повторное сжатие данных. поэтому его двойное сжатие. это потому, что HTTP-сжатие

    2. если данные не сжимаются приложением, Content-Encoding: gizp заставит данные сжиматься (в основном gzip), и они будут автоматически распакованы (un-zip), прежде чем они достигнут клиента. Распаковка - это функция по умолчанию, доступная в большинстве веб-браузеров. браузер выполнит распаковку, если обнаружит в ответе заголовок Content-Encoding: gizp.

    24.12.2015
    Новые материалы
    Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что это выглядит сложно…
    Просто начните и учитесь самостоятельно Я хотел выучить язык программирования MVC4, но не мог выучить его раньше, потому что он кажется мне сложным, и я бросил его. Это в основном инструмент..
    Лицензии с открытым исходным кодом: руководство для разработчиков и создателей
    В динамичном мире разработки программного обеспечения открытый исходный код стал мощной парадигмой, способствующей сотрудничеству, инновациям и прогрессу, движимому сообществом. В основе..
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Для любых предложений по сайту: [email protected]