Java Swing StyledDocument получает дерево элементов/стиль SelectedText, например полужирный, курсив

как я могу получить, если selectedText выделен жирным шрифтом/курсивом и т. д.?

В вашем CaretListener вы можете использовать:

AttributeSet attributes = jTextPane1.getCharacterAttributes();
System.out.println( attributes.containsAttribute(StyleConstants.Bold, Boolean.TRUE) );

Если щелкнуть один элемент (например, кнопку на панели инструментов), элемент jmenui также должен быть выбран/активирован.

Вы должны использовать Action:

Action bold = new StyledEditorKit.BoldAction();
JButton boldButton = new JButton( bold );
JCheckBoxMenuItem boldMenuItem = new JCheckBoxMenuItem( bold );

Когда вы устанавливаете состояние Action, состояние всех компонентов, использующих Action, изменяется. Например, вы можете сделать Action выбранным или активным.

мой код сейчас выглядит так

public void jToolBarInitButtons() {

    jTextPane1.addCaretListener(new CaretListener() {

    @Override
    public void caretUpdate(CaretEvent e) {

        StyledDocument styleddoc = (StyledDocument) jTextPane1.getDocument();

            AttributeSet attributes = jTextPane1.getCharacterAttributes();
            System.out.println("bold " +  attributes.containsAttribute(StyleConstants.Bold, Boolean.TRUE));
            System.out.println("italic " + attributes.containsAttribute(StyleConstants.Italic, Boolean.TRUE));

    }

Таким образом, есть два элемента click для выделения текста жирным шрифтом, два элемента для выделения текста курсивом и так далее. Если щелкнуть один элемент (например, кнопку на панели инструментов), элемент jmenui также должен быть выбран/активирован. Но как я могу это осознать?

Создайте пункт меню и кнопку, передав один и тот же Действие к их конструкторам.

Похоже, вы намереваетесь показать полужирным шрифтом состояние кнопки и пункта меню, поэтому вы, вероятно, захотите создать JCheckBoxMenuItem и JToggleButton. При создании действия установите его SELECTED_KEY в ненулевое значение, поэтому кнопки будут поддерживать его в актуальном состоянии:

action.putValue(Action.SELECTED_KEY, false);

Из документации по действию:

SELECTED_KEY

Компоненты, которые учитывают это свойство, используют значение только в том случае, если оно не равно null. Например, если вы установите Action, который имеет нулевое значение для SELECTED_KEY на JToggleButton, JToggleButton никоим образом не обновит свое выбранное состояние. Точно так же каждый раз, когда изменяется выбранное состояние JToggleButton, оно будет возвращать значение Action только в том случае, если Action имеет значение, отличное от null, для SELECTED_KEY. Компоненты, которые учитывают это свойство, синхронизируют свое выбранное состояние с этим свойством. Когда один и тот же Action используется с несколькими компонентами, все компоненты синхронизируют свое выбранное состояние с этим свойством.

Ваш CaretListener должен соответствовать camickr.

Извиняюсь. Это весь код:

Обновление 2: вот код

public class TestFrame extends javax.swing.JFrame {

    /**
     * Creates new form TestFrame
     */
    public TestFrame() {
        initComponents();
        initButtons();
    }

    Action boldAction = new StyledEditorKit.BoldAction();    
    Action italicAction = new StyledEditorKit.ItalicAction();
    Action underlineAction = new StyledEditorKit.UnderlineAction();

    public void initButtons() {
        JButton boldButton = new JButton(boldAction);
        boldButton.setText("bold");

        JButton italicButton = new JButton(italicAction);
        boldButton.setText("italic");

        JButton underlineButton = new JButton(underlineAction);
        boldButton.setText("underline");

        jToolBar1.add(boldButton);
        jToolBar1.add(italicButton);
        jToolBar1.add(underlineButton);

        jTextPane1.addCaretListener(new CaretListener() {

        @Override
        public void caretUpdate(CaretEvent e) {
            Highlighter.Highlight[] h = jTextPane1.getHighlighter().getHighlights();
            for(int i = 0; i < h.length; i++) {
                System.out.println("length " +  h.length);
                System.out.println(h[i].getStartOffset());
                System.out.println(h[i].getEndOffset());
                String selectedText = jTextPane1.getSelectedText();


                StyledDocument styleddoc = (StyledDocument) jTextPane1.getDocument();

                AttributeSet attributes = jTextPane1.getCharacterAttributes();
                System.out.println("Bold " + attributes.containsAttribute(StyleConstants.Bold, Boolean.TRUE));
                System.out.println("Italic " + attributes.containsAttribute("Italic " + StyleConstants.Italic, Boolean.TRUE));
                System.out.println("Underline " + attributes.containsAttribute(StyleConstants.Underline, Boolean.TRUE));
            }

        }
    });
    }

    /**
     * This method is called from within the constructor to initialize the form.
     * WARNING: Do NOT modify this code. The content of this method is always
     * regenerated by the Form Editor.
     */
    @SuppressWarnings("unchecked")
    // <editor-fold defaultstate="collapsed" desc="Generated Code">                          
    private void initComponents() {

        jScrollPane1 = new javax.swing.JScrollPane();
        jTextPane1 = new javax.swing.JTextPane();
        jToolBar1 = new javax.swing.JToolBar();

        setDefaultCloseOperation(javax.swing.WindowConstants.EXIT_ON_CLOSE);

        jScrollPane1.setViewportView(jTextPane1);

        jToolBar1.setRollover(true);

        javax.swing.GroupLayout layout = new javax.swing.GroupLayout(getContentPane());
        getContentPane().setLayout(layout);
        layout.setHorizontalGroup(
            layout.createParallelGroup(javax.swing.GroupLayout.Alignment.LEADING)
            .addGroup(javax.swing.GroupLayout.Alignment.TRAILING, layout.createSequentialGroup()
                .addContainerGap(116, Short.MAX_VALUE)
                .addComponent(jScrollPane1, javax.swing.GroupLayout.PREFERRED_SIZE, 269, javax.swing.GroupLayout.PREFERRED_SIZE)
                .addGap(75, 75, 75))
            .addGroup(layout.createSequentialGroup()
                .addContainerGap()
                .addComponent(jToolBar1, javax.swing.GroupLayout.PREFERRED_SIZE, 192, javax.swing.GroupLayout.PREFERRED_SIZE)
                .addContainerGap(javax.swing.GroupLayout.DEFAULT_SIZE, Short.MAX_VALUE))
        );
        layout.setVerticalGroup(
            layout.createParallelGroup(javax.swing.GroupLayout.Alignment.LEADING)
            .addGroup(layout.createSequentialGroup()
                .addGap(23, 23, 23)
                .addComponent(jToolBar1, javax.swing.GroupLayout.PREFERRED_SIZE, 20, javax.swing.GroupLayout.PREFERRED_SIZE)
                .addGap(14, 14, 14)
                .addComponent(jScrollPane1, javax.swing.GroupLayout.PREFERRED_SIZE, 154, javax.swing.GroupLayout.PREFERRED_SIZE)
                .addContainerGap(89, Short.MAX_VALUE))
        );

        pack();
    }// </editor-fold>                        

    /**
     * @param args the command line arguments
     */
    public static void main(String args[]) {
        /* Set the Nimbus look and feel */
        //<editor-fold defaultstate="collapsed" desc=" Look and feel setting code (optional) ">
        /* If Nimbus (introduced in Java SE 6) is not available, stay with the default look and feel.
         * For details see https://download.oracle.com/javase/tutorial/uiswing/lookandfeel/plaf.html 
         */
        try {
            for (javax.swing.UIManager.LookAndFeelInfo info : javax.swing.UIManager.getInstalledLookAndFeels()) {
                if ("Nimbus".equals(info.getName())) {
                    javax.swing.UIManager.setLookAndFeel(info.getClassName());
                    break;
                }
            }
        } catch (ClassNotFoundException ex) {
            java.util.logging.Logger.getLogger(TestFrame.class.getName()).log(java.util.logging.Level.SEVERE, null, ex);
        } catch (InstantiationException ex) {
            java.util.logging.Logger.getLogger(TestFrame.class.getName()).log(java.util.logging.Level.SEVERE, null, ex);
        } catch (IllegalAccessException ex) {
            java.util.logging.Logger.getLogger(TestFrame.class.getName()).log(java.util.logging.Level.SEVERE, null, ex);
        } catch (javax.swing.UnsupportedLookAndFeelException ex) {
            java.util.logging.Logger.getLogger(TestFrame.class.getName()).log(java.util.logging.Level.SEVERE, null, ex);
        }
        //</editor-fold>

        /* Create and display the form */
        java.awt.EventQueue.invokeLater(new Runnable() {
            public void run() {
                new TestFrame().setVisible(true);
            }
        });
    }

    // Variables declaration - do not modify                     
    private javax.swing.JScrollPane jScrollPane1;
    private javax.swing.JTextPane jTextPane1;
    private javax.swing.JToolBar jToolBar1;
    // End of variables declaration                   
}